近期,杭州深度求索人工智能基礎(chǔ)技術(shù)研究有限公司,作為deepseek的關(guān)聯(lián)企業(yè),在人工智能領(lǐng)域取得了新的技術(shù)突破。據(jù)天眼查信息顯示,該公司成功申請并公布了一項名為“一種大語言模型的部署方法及系統(tǒng)”的專利。
該專利的核心創(chuàng)新點在于,它提出了一種創(chuàng)新的部署策略,將大語言模型的預(yù)填充階段和解碼階段進(jìn)行分離,并分別部署在具備高性能計算能力和大內(nèi)存的機器上。這一策略旨在優(yōu)化資源分配,實現(xiàn)負(fù)載的均衡。
具體而言,通過將預(yù)填充階段部署在高性能計算設(shè)備上,可以充分利用其強大的計算能力,快速完成模型的初始化工作。而解碼階段則部署在大內(nèi)存機器上,以確保在處理大量數(shù)據(jù)時能夠保持高效和穩(wěn)定。這種部署方式不僅實現(xiàn)了硬件資源的最大化利用,還顯著減少了閑置算力,進(jìn)一步降低了系統(tǒng)的整體延遲。
該專利還帶來了吞吐量的提升,使得系統(tǒng)能夠在單位時間內(nèi)處理更多的請求。這對于提升用戶體驗和滿足日益增長的數(shù)據(jù)處理需求具有重要意義。同時,該方案還增強了系統(tǒng)的擴展性和容錯性,為未來的技術(shù)升級和故障應(yīng)對提供了堅實的基礎(chǔ)。

從公布的專利摘要中,我們可以更直觀地了解到這一創(chuàng)新技術(shù)的具體實現(xiàn)和所帶來的積極效果。這一專利的公布,標(biāo)志著杭州深度求索人工智能基礎(chǔ)技術(shù)研究有限公司在大語言模型部署領(lǐng)域取得了重要的技術(shù)進(jìn)展。

隨著人工智能技術(shù)的不斷發(fā)展和應(yīng)用領(lǐng)域的不斷拓展,對于大語言模型的部署效率和性能要求也越來越高。杭州深度求索人工智能基礎(chǔ)技術(shù)研究有限公司的這一專利成果,無疑為行業(yè)提供了新的思路和技術(shù)支持,有望推動人工智能技術(shù)的進(jìn)一步發(fā)展和應(yīng)用。
舉報 0收藏 0打賞 0評論 0分享 2 更多>同類資訊2025年:中國芯片企業(yè)借AI浪潮,破局重生2025年是AI應(yīng)用的爆發(fā)年,也是關(guān)乎國產(chǎn)算力企業(yè)興衰存亡的關(guān)鍵之年。現(xiàn)在真正做到了芯片、模型助力場景應(yīng)用,場景反饋回來的數(shù)據(jù),又增加了模型跟芯片進(jìn)一步地迭代,形成了一個非常良性的正向循環(huán)。”我們從芯片廠商的…08-04
企業(yè)數(shù)字化轉(zhuǎn)型新指南:深度解讀IOMM成熟度模型中國建設(shè)銀行構(gòu)建了以"龍舟"運維PaaS平臺為基礎(chǔ)的工具體系,涵蓋18個公共組件和35個運維業(yè)務(wù)應(yīng)用,通過云計算風(fēng)險管理框架抵御百萬次網(wǎng)絡(luò)攻擊,同時面向客戶提供多元化金融科技服務(wù),實現(xiàn)了IT部門向價值中心的轉(zhuǎn)…08-04
AI+安全:賦能與風(fēng)險并存,安全大模型一體機成廠商新賽道以ChatGPT 為代表的生成式人工智能技術(shù)在網(wǎng)絡(luò)安全領(lǐng)域是一把“雙刃劍”,一方面,AI可以賦能網(wǎng)絡(luò)安全,提升風(fēng)險檢測與防護(hù)能力;另一方面,AI 的濫用將對國家、社會、公眾帶來負(fù)面影響,同時,AI 新技術(shù)的…08-04
浙大發(fā)布“悟空”類腦計算機:神經(jīng)元規(guī)模超20億,模擬獼猴大腦快科技8月2日消息,浙江大學(xué)腦機智能全國重點實驗室正式發(fā)布了新一代神經(jīng)擬態(tài)類腦計算機——Darwin Monkey,中文名 “悟空”。整臺計算機支持的脈沖神經(jīng)元規(guī)模超過20億,數(shù)量已接近獼猴大腦規(guī)模。 達(dá)爾…08-04
沈陽新注冊低空經(jīng)濟公司,注冊資本高達(dá)1.1億,或?qū)⒁I(lǐng)產(chǎn)業(yè)新風(fēng)向08-03
新石器無人車公司注冊資本大幅提升,增至3705萬元!08-03
華為哈勃攜手入股清程極智,國產(chǎn)算力軟件服務(wù)商再添新動力08-03
軟通動力攜手芯粒微,共探芯片研發(fā)新領(lǐng)域08-03
科大訊飛布局AI領(lǐng)域,新商標(biāo)“AI星朋友”引發(fā)關(guān)注08-03
科大訊飛攜手上海云休信息科技,云享智慧第二大股東迎新伙伴08-03
軟通動力海南布局,新設(shè)國際科技公司注冊資本高達(dá)5億08-03
優(yōu)必選布局衢州,新科技公司成立注冊資本達(dá)3000萬08-03
2025人工智能大會亮點:上半年AI企業(yè)激增50余萬家,新趨勢何在?08-03
重慶10億級半導(dǎo)體私募股權(quán)投資基金“兩江芯徵程”正式成立08-03
天津艾銳人工智能創(chuàng)業(yè)投資基金成立,2億資金助力人才創(chuàng)新08-03點擊查看更多 +全站最新
2025世界機器人大會啟幕在即:智慧機器人,共筑智能未來
中國科研團隊突破:用“蒸籠法”制造高性能硒化銦晶體管材料
小米ChinaJoy打造“人車家”智能生態(tài)展,全方位演繹科技生活新圖景
小米電競新機曝光:玄戒處理器+165Hz屏+9千毫安電池,游戲黨福音?
智界R7改款座椅大升級,余承東預(yù)告8月8日開啟小訂
小米自研玄戒處理器電競手機曝光:165Hz屏+9千毫安電池,性能對標(biāo)頂尖熱門內(nèi)容
企業(yè)數(shù)字化轉(zhuǎn)型新指南:深度解讀IOMM成熟度模型
AI+安全:賦能與風(fēng)險并存,安全大模型一體機成廠商新賽道
浙大發(fā)布“悟空”類腦計算機:神經(jīng)元規(guī)模超20億,模擬獼猴大腦
沈陽新注冊低空經(jīng)濟公司,注冊資本高達(dá)1.1億,或?qū)⒁I(lǐng)產(chǎn)業(yè)新風(fēng)向
新石器無人車公司注冊資本大幅提升,增至3705萬元!
華為哈勃攜手入股清程極智,國產(chǎn)算力軟件服務(wù)商再添新動力
本文鏈接:http://www.www897cc.com/showinfo-45-25772-0.htmlDeepSeek公布:大語言模型高效部署新方案專利
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系,我們將在第一時間刪除處理。郵件:2376512515@qq.com