11月17日消息，百川智能與鵬城實(shí)驗(yàn)室宣布攜手探索大模型訓(xùn)練和應(yīng)用，合作研發(fā)基于國產(chǎn)算力的128K長窗口大模型“鵬城-百川?腦海33B”。這是國產(chǎn)算力大模型創(chuàng)新與落地的一次實(shí)踐，對(duì)國產(chǎn)算力大模型發(fā)展具有積極示范作用。6PK28資訊網(wǎng)——每日最新資訊28at.com

百川智能攜手鵬城實(shí)驗(yàn)室助力國產(chǎn)算力大模型創(chuàng)新6PK28資訊網(wǎng)——每日最新資訊28at.com

眾所周知，訓(xùn)練大模型需要海量的算力，并且大模型參數(shù)數(shù)量的增長與算力的平方成正比。大模型性能的競(jìng)爭，一定程度上是算力的比拼。在復(fù)雜多變的國際環(huán)境下，國內(nèi)算力供給與需求之間的“鴻溝”持續(xù)擴(kuò)大，國產(chǎn)化算力已經(jīng)成為國內(nèi)大模型企業(yè)的必要選擇。6PK28資訊網(wǎng)——每日最新資訊28at.com

雖然國內(nèi)諸多企業(yè)在通用AI芯片方面早有布局，在芯片量產(chǎn)、生態(tài)構(gòu)建、應(yīng)用拓展領(lǐng)域也取得了不錯(cuò)進(jìn)展，但基于國產(chǎn)算力訓(xùn)練大模型，仍面臨著生態(tài)建設(shè)、成本控制、能效比優(yōu)化等阻礙。因此算力完全自主，仍需要芯片廠商、大模型企業(yè)、學(xué)術(shù)科研機(jī)構(gòu)等多方共同努力。6PK28資訊網(wǎng)——每日最新資訊28at.com

鵬城實(shí)驗(yàn)室表示，鵬城實(shí)驗(yàn)室秉持“國產(chǎn)算力+自主大模型”的創(chuàng)新理念，依托“鵬城?腦海”開源聯(lián)合體，廣泛聯(lián)合企業(yè)、高校和科研院所，致力于通過開源群智的合作模式共享資源，為千行百業(yè)插上人工智能的“翅膀”。百川智能是國內(nèi)領(lǐng)先的大模型企業(yè)，自成立以來一直在推動(dòng)大模型研發(fā)和開源生態(tài)建設(shè)，其開源和閉源模型在同等量級(jí)權(quán)威評(píng)測(cè)中都取得了優(yōu)異成績。雙方在合作過程中能夠充分發(fā)揮各自優(yōu)勢(shì)形成合力，更好地滿足我國不斷增長的智能化轉(zhuǎn)型需求，助力中國人工智能產(chǎn)業(yè)快速崛起。6PK28資訊網(wǎng)——每日最新資訊28at.com

百川智能表示，百川智能希望通過開源、與合作伙伴共創(chuàng)等方式助力中國大模型創(chuàng)新，繁榮本土大模型生態(tài)。鵬城實(shí)驗(yàn)室作為國家戰(zhàn)略科技力量的重要組成部分，在國產(chǎn)算力大模型研發(fā)和應(yīng)用等方面一直處于國內(nèi)領(lǐng)先位置。本次百川智能與鵬城實(shí)驗(yàn)室合作研發(fā)“鵬城-百川?腦海33B”長窗口大模型，是國產(chǎn)算力大模型技術(shù)創(chuàng)新和落地的一次突破。未來，百川智能將在技術(shù)、算力等諸多維度不斷深化與鵬城實(shí)驗(yàn)室的合作，持續(xù)助力本土大模型創(chuàng)新發(fā)展。6PK28資訊網(wǎng)——每日最新資訊28at.com

國產(chǎn)算力最長上下文窗口，“鵬城-百川?腦海33B”率先實(shí)現(xiàn)國產(chǎn)算力技術(shù)突破6PK28資訊網(wǎng)——每日最新資訊28at.com

論壇上，百川智能和鵬城實(shí)驗(yàn)室展示了雙方共同研發(fā)的“鵬城-百川?腦海33B”大模型?！谤i城-百川?腦海33B”的128K長上下文窗口基于“鵬城云腦”國產(chǎn)算力平臺(tái)訓(xùn)練，未來可升級(jí)至192K，是基于國產(chǎn)算力訓(xùn)練的最長上下文窗口。6PK28資訊網(wǎng)——每日最新資訊28at.com

上下文窗口長度對(duì)模型理解和生成與特定上下文相關(guān)的文本至關(guān)重要，是大模型的核心技術(shù)之一。通常而言，更長的上下文窗口可以提供更豐富的語義信息、消除歧義，能夠讓模型生成的內(nèi)容更準(zhǔn)確、更流暢。6PK28資訊網(wǎng)——每日最新資訊28at.com

為了更好地提升“鵬城-百川?腦海33B”上下文窗口長度和模型整體性能，百川智能和鵬城實(shí)驗(yàn)室對(duì)模型進(jìn)行了全流程優(yōu)化。在數(shù)據(jù)集構(gòu)建方面，采用精細(xì)的數(shù)據(jù)構(gòu)造，實(shí)現(xiàn)了段落、句子粒度的自動(dòng)化數(shù)據(jù)過濾、選擇、配比，良好的提升了數(shù)據(jù)質(zhì)量；在訓(xùn)練架構(gòu)上，通過NormHead、max-Z-Loss、dynamic-LR等自研或業(yè)界領(lǐng)先的模型訓(xùn)練優(yōu)化技術(shù)，對(duì)Transformer模塊進(jìn)行深度優(yōu)化，確保模型收斂穩(wěn)定的同時(shí)，全面提升了模型優(yōu)化效率和最終效果；此外，還在全生命周期的模型工具集中，通過與北京大學(xué)王亦洲、楊耀東老師團(tuán)隊(duì)的合作，首創(chuàng)了帶安全約束的RLHF對(duì)齊技術(shù)，有效提升了模型內(nèi)容生成質(zhì)量和安全性。6PK28資訊網(wǎng)——每日最新資訊28at.com

未來，雙方將在國產(chǎn)算力大模型技術(shù)創(chuàng)新和模型落地等方面繼續(xù)加強(qiáng)合作，并與相關(guān)領(lǐng)域的優(yōu)勢(shì)單位如北京大學(xué)、清華大學(xué)等開展協(xié)同創(chuàng)新，助力本土大模型在模型性能、技術(shù)創(chuàng)新方面持續(xù)突破，推動(dòng)本土大模型進(jìn)一步開源開放，為更多行業(yè)智能化轉(zhuǎn)型提供幫助和支持。6PK28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.www897cc.com/showinfo-21-27955-0.html百川智能與鵬城實(shí)驗(yàn)室開展合作，突破國產(chǎn)算力大模型長窗口技術(shù)

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇： 元戎啟行“無圖”智駕方案升級(jí) 真正做到即開即用

下一篇： 賈躍亭旗下法拉第未來宣布推出AI產(chǎn)品FF aiPal Beta