DeepSeek中國新創公司開源低成本AI模型,引發市場對AI成本降低和邊緣AI升級的關注。
盡管DeepSeek持續開源技術受到開發者歡迎,但專家指出,其大模型仍最適合云端應用,邊緣AI模型仍以其他業者服務為主。
近20家AI芯片公司宣布適配DeepSeek蒸餾模型,但僅少數完成適配“滿血版”大模型,反映出國產芯片實力有限。滿血版模型需多臺高端GPU服務器及互聯技術,目前服務速度仍在較低水平。
優必達CEO郭榮昌指出,LLM對話每秒生成速度至少需達15 tokens/sec才能順暢,大模型在PC或手機上運行仍卡頓,目前以云端應用為主。
邊緣端使用率較高的小模型仍為Meta Llama、Google Gemma、微軟Phi等系列。
DeepSeek宣布將開源5個程序碼庫,包括針對Hopper GPU的FlashMLA解碼架構和改善混合專家模型路由通訊的DeepEP,旨在充分發揮既有硬件效能。開發者對此表示期待,但邊緣AI應用成長仍需時日。
本文鏈接:http://www.www897cc.com/showinfo-27-134224-0.htmlDeepSeek開源技術受矚目,但邊緣AI應用成長仍需時日
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com
下一篇: 倉佑半導體布局加速,嘉義廠試量產進展順利