輝達最新:GeForce RTX 50 搭載 DeepSeek 加速推理模型在 PC 電腦本地運行

美中 AI 大戰持續燃燒,當川普選擇了 OpenAI 做為戰略夥伴時, DeepSeek 忽然異軍突起空降全球,其中的核心競爭力「推理模型」依然是靠著輝達的 GPU 馬力加速完成,迅速全面打臉所有認為輝達 GPU 已要被取代的新聞。
輝達官方部落格揭露 DeepSeek-R1 模型可讓開發團隊在保有客戶隱私的前提上運行複雜難解的數學和程式碼,輝達GeForce RTX 50 系列的 GPU 以每秒 3,352 兆次運算的馬力加速運行 DeepSeek 推理模型 。
新型態的推理模型讓 AI 思考與反饋
Reasoning Models (推理模型) 是種新型態的大型語言模型,AI 會像人類一樣花費時間「思考」並對錯誤做出「反饋」,所以被命名為「推理」。就像人類解決問題一樣, AI 透過更多思考、理解與反饋解決問題。推理模型可了解使用者的深度需求,並允許 AI 對模型的思考過程提供回饋,進一步增強使用者體驗,並可解鎖 AI 代理工作流程,進而解決複雜的多步驟任務,例如市場分析研究、複雜的數學問題或程式碼等等。
DeepSeek 推理模型可在輝達的 RTX AI PC 本地快速運行
DeepSeek-R1 系列精簡模型為基於擁有 6,710 億個參數的大型專家混合 (MoE) 模型。 MoE 模型由多個較小的 Expert Models 專家模型組成,用於解決複雜問題。 DeepSeek 模型進一步分配工作並將子任務分配給較小的專家群組。
DeepSeek 採用一種名為 Distillation (蒸餾)的技術,就像是製造威士忌一樣,可將大部分的酒精經過蒸餾技術蒸發掉留下精萃,大型 DeepSeek 6,710 億個參數模型中可蒸餾出六個較小的學生模型,參數範圍從 15 億到 700 億個不等,由大的 DeepSeek-R1 6710 億參數模型將推理能力「傳授」給較小的 Llama 和 Qwen 學生模型,從而產生了功能強大但較小的推理模型,並在輝達 RTX AI PC 本地快速運行。
RTX 搭載 DeepSeek-R1 推理模型
輝達 GeForce RTX 50 GPU 採用第五代 Tensor Core 構建,基於相同的 Blackwell GPU 架構。 加速 DeepSeek 推理模型,可在 AI PC 電腦 上提供最高的推理效率。
NVIDIA 的 RTX AI 平台提供了廣泛的 AI 工具、軟體開發套件和模型選擇。目前全球超過 1 億台 NVIDIA RTX AI PC(包括搭載 GeForce RTX 50 系列 GPU 的 PC)能夠使用 DeepSeek-R1 的功能。
殺手 GPU 沒有網路連線也可使用
RTX GPU 即使沒有網路連線,也可以在低遲緩的環境下運行,並可保護客戶隱私,因為用戶不用上傳敏感的個資和搜尋紀錄到 AI 服務系統。
這篇文章 輝達最新:GeForce RTX 50 搭載 DeepSeek 加速推理模型在 PC 電腦本地運行 最早出現於 鏈新聞 ABMedia。
免責聲明:文章中的所有內容僅代表作者的觀點,與本平台無關。用戶不應以本文作為投資決策的參考。
您也可能喜歡
Pump.fun 將向 PUMP 代幣持有者分配協議收入:消息來源
快速摘要 據報導,Pump.fun 正在市場上通過首次代幣發行籌集 10 億美元,據兩位知情人士透露,該公司正在考慮為其原生代幣引入收入共享機制。該團隊首次暗示將於十月發行代幣,據報導還計劃空投代幣。

Aethir Edge 將於 2.0 月 13 日發布 Tokenomics XNUMX,為貢獻者引入永續獎勵系統
簡單來說 Aethir Edge 宣布計劃在其更新的 Tokenomics 2.0 中推出新的基於權益的獎金結構,該結構將於 13 月 XNUMX 日起生效。

Matrixport:美國宏觀經濟數據疲軟或引發市場波動,挑戰比特幣上漲動能
簡單來說 Matrixport 最近的分析警告稱,美國宏觀經濟數據疲軟和新興市場風險可能會導致加密貨幣市場的不確定性和整合增加,這可能會限制比特幣的上漲勢頭。

EigenLayer 推出重新分配功能,讓 AVS 重新利用和分配被削減的資金
簡單來說 EigenLayer 在 Holesky、Sepolia 和 Hoodi 以太坊測試網路上推出了其重新分配功能,預計將於 6 月底或 7 月在主網部署。

加密貨幣價格
更多








