鴻蒙OS 4.0公測機型公布：甚至連nova6都支持
華為全新的HarmonyOS 4.0操作系統(tǒng)將于今天下午正式登場，官方在發(fā)布會之前也已經(jīng)正式給出了可升級的機型產(chǎn)品，這意味著這些機型會率先支持升級享用。這次的HarmonyOS 4.0支持
一夜之間，老黃天塌了（doge）。
全球首個分布式RL訓(xùn)練模型INTELLECT-2發(fā)布，它僅通過整合全球閑置或分散的計算資源，就完成了模型的強化學(xué)習(xí)訓(xùn)練，訓(xùn)練成本大大降低。
其模型性能與DeepSeek-R1媲美！
一旦范式成立，這也就意味RL訓(xùn)練擺脫了對集中式算力的依賴，世界上任何一個人都可以參與到模型訓(xùn)練當中，大公司壟斷算力時代可能就此終結(jié)。
Just like this~算力來算力來，算力從四面八方來。
此模型版本有19個人/機構(gòu)提供了算力資源支持（源自模型回答，還包括它自己）
除了貢獻算力，還有不少大佬愿意投錢，包括不限于Karpathy大神、FlashAttention作者Tri Dao大神、HuggingFace聯(lián)創(chuàng)兼CEO Clem Delangue等等。
據(jù)團隊成員介紹，他們從編寫模型強化學(xué)習(xí)框架prime-rl，到今天發(fā)布大概只用了兩個月時間。
目前基礎(chǔ)設(shè)施已到位，并且經(jīng)過驗證，超過那些先進實驗室只是時間問題。
（比如OpenAI？）
有人已經(jīng)開始斷言：未來的頂級開源模型將以分布式方式進行訓(xùn)練。
INTELLECT-2搶先測
目前INTELLECT-2支持網(wǎng)頁端體驗，只需簡單注冊就可以使用。與其他通用助手頁面類似差不多，不過輸入僅支持文本。
那咱們先來一些基礎(chǔ)問題：INTELLECT-2大的特點是什么？
在推理思考了幾秒鐘之后，它給出了答案，首先強調(diào)了這是首個去中心化RL訓(xùn)練的超大規(guī)模模型，其次還有強化學(xué)習(xí)訓(xùn)練、參數(shù)規(guī)模與性能的平衡、數(shù)據(jù)隱私安全與社區(qū)驅(qū)動等特點。
回答基本OK，那直接來上點難度：
一個外星人來到地球后，第一天有相等的可能選擇以下四件事中的一件完成：1，自我毀滅；2，分裂成兩個外星人；3，分裂成三個外星人；4，什么都不做。
此后每天，每個外星人均會做一次選擇，且彼此之間相互獨立，求地球上終沒有外星人的概率
在思考了一會兒之后，回答是醬嬸。
雖然格式有點亂，但是后回答正確，而且是解析解。(o゜▽゜)o☆[BINGO!]。
如果昨天是明天就好了，那么今天就是周五了。 問：句子中的今天可能是星期幾？
可以看到基本能力有，但現(xiàn)在還不是特別穩(wěn)定。像當你開始新對話時，會碰到以下這種情況。
已經(jīng)有熱心網(wǎng)友已經(jīng)制作成了GGUF格式上傳到HF。
分布式強化學(xué)習(xí)訓(xùn)練
INTELLECT-2是一個分布式的大模型訓(xùn)練框架，采用了全球分布式異步強化學(xué)習(xí)的范式。
通俗講，INTELLECT-2就如同一個超大型的眾包項目，任何擁有閑置算力資源的人都可以參與其中。
“異步”則是指不同階段可以獨立、并行地進行，因此不同性能的設(shè)備可以同時參與，而不會相互影響。
具體來說，系統(tǒng)會利用全球貢獻者提供的異構(gòu)算力在本地生成推理數(shù)據(jù)；這些數(shù)據(jù)經(jīng)過驗證后匯集到中心，用于更新模型策略；更新后的策略再分發(fā)到每個節(jié)點，開始新一輪迭代。
在這套流程當中，一共涉及了四大關(guān)鍵組件——
核心RL框架PRIME-RL，實現(xiàn)推理數(shù)據(jù)生成與模型訓(xùn)練的解耦和異步進行；參數(shù)分發(fā)網(wǎng)絡(luò)SHARDCAST，負責將更新后的模型參數(shù)高效分發(fā)給全球各地的推理節(jié)點；推理驗證協(xié)議TOPLOC，驗證每個推理節(jié)點提交數(shù)據(jù)的可信性；Protocol Testnet，為不同學(xué)習(xí)任務(wù)構(gòu)建獨立算力資源池，實現(xiàn)算力貢獻和使用的去中心化管理。
INTELLECT團隊已將這四大組件全部開源。
核心RL框架PRIME-RL
PRIME-RL的核心，是支持推理數(shù)據(jù)生成與模型訓(xùn)練的解耦與異步執(zhí)行。
這種方式允許分散的推理節(jié)點按照自己的進度生成數(shù)據(jù)，無需彼此協(xié)調(diào)和等待。
為了進一步提升性能和減小顯存占用，PRIME-RL采用支持bfloat16精度的vLLM(vector LLM)作為推理運行時。
另外還集成了FSDP（Fully Sharded Data Parallel）技術(shù)對模型進行切片。
FSDP將模型的參數(shù)和梯度按層切分到不同的GPU上，每個GPU只負責一部分的計算和存儲。
參數(shù)分發(fā)網(wǎng)絡(luò)SHARDCAST
SHARDCAST是一個基于HTTP的參數(shù)分發(fā)網(wǎng)絡(luò)，負責將更新后的模型權(quán)重廣播給全球范圍內(nèi)的推理節(jié)點。
在分布式強化學(xué)習(xí)中，由于文件體積極大，而網(wǎng)絡(luò)帶寬資源良莠不齊，模型權(quán)重的分發(fā)通常是一個難點。
為了解決這個問題，SHARDCAST引入了分片傳輸、多級緩存、智能調(diào)度等一系列優(yōu)化技術(shù)。
分片傳輸指的是將模型權(quán)重文件切分成多個小的分片，然后并行傳輸。這種做法不僅能充分利用網(wǎng)絡(luò)帶寬，降低傳輸延遲，還能提高傳輸?shù)聂敯粜裕粫驗閭€別分片傳輸失敗而造成整體重傳。
多級緩存是一種類似于CDN的傳輸模式，具體來說，SHARDCAST在推理節(jié)點和中心節(jié)點之間引入了一層中繼服務(wù)器作為緩存。每當中心節(jié)點產(chǎn)生新的模型權(quán)重，它首先將權(quán)重文件推送到這些中繼服務(wù)器。
這樣一來，推理節(jié)點就可以就近從中繼服務(wù)器拉取權(quán)重文件，而不是直接從中心節(jié)點獲取，可以有效緩解中心節(jié)點的網(wǎng)絡(luò)I/O壓力。
另外，與普通的被動響應(yīng)式傳輸不同，SHARDCAST的中繼服務(wù)器會主動跟蹤每個推理節(jié)點的權(quán)重版本，當發(fā)現(xiàn)版本落后時，會主動將增量權(quán)重推送給節(jié)點，確保了權(quán)重更新的實時性。
同時，SHARDCAST還會根據(jù)網(wǎng)絡(luò)拓撲和帶寬狀況，動態(tài)調(diào)整傳輸策略和路由，選擇優(yōu)的分發(fā)路徑。
推理驗證協(xié)議TOPLOC
TOPLOC全稱Tierion backed Proof-of-Locality Protocol，是INTELLECT-2中負責驗證推理節(jié)點生成數(shù)據(jù)可信性的關(guān)鍵組件。
其目的是確保每個推理節(jié)點提交的數(shù)據(jù)可信，避免惡意節(jié)點通過提交虛假數(shù)據(jù)來破壞模型訓(xùn)練。
TOPLOC通過密碼學(xué)證明和可驗證計算等技術(shù)實現(xiàn)，可以概括為Proof生成和Proof檢查兩個主要步驟。
Proof生成是指當一個推理節(jié)點完成一組推理任務(wù)后，不僅要將生成的軌跡數(shù)據(jù)提交給中心節(jié)點，還要附帶提交一個密碼學(xué)proof。
這個proof證明了所提交的數(shù)據(jù)確實是由特定版本的模型、特定的輸入、特定的隨機數(shù)種子生成的，其生成基于安全哈希算法，確保了proof與推理過程綁定。
中心節(jié)點在收到推理數(shù)據(jù)和proof后，會定期抽查部分數(shù)據(jù)的可信性。驗證節(jié)點首先會重放推理節(jié)點的模型prefill，然后將計算得到的中間狀態(tài)與proof進行比對。
為了降低開銷，推理節(jié)點只需提交關(guān)鍵的中間狀態(tài)，而非完整的計算過程；驗證節(jié)點也只需重放部分關(guān)鍵路徑，而不是全盤重做。
Protocol Testnet
Protocol Testnet是INTELLECT-2的底層基礎(chǔ)設(shè)施，為全球范圍內(nèi)的計算資源管理和任務(wù)調(diào)度提供了統(tǒng)一的接口和規(guī)范。
它將不同類別的人工智能訓(xùn)練任務(wù)組織成獨立的計算域，每個計算域都有自己的資源池，由去中心化的“賬本系統(tǒng)”來管理節(jié)點的身份、貢獻和信譽值。
每個計算域?qū)?yīng)了一種特定的訓(xùn)練任務(wù)，如語言模型預(yù)訓(xùn)練、多模態(tài)對齊、強化學(xué)習(xí)等。
針對一個特定的訓(xùn)練任務(wù)，開發(fā)者會在Testnet上注冊一個新的計算域，計算域定義了任務(wù)的相關(guān)屬性和協(xié)議規(guī)范。
全球范圍內(nèi)的算力提供者可以將自己的計算設(shè)備注冊到Testnet的資源池中。每個節(jié)點在加入時，，都需要在去中心化“賬本”上生成一個唯一的密碼學(xué)身份，用于后續(xù)的貢獻度記錄和信譽管理。
當一個計算域有新的訓(xùn)練任務(wù)需要執(zhí)行時，Testnet的任務(wù)調(diào)度服務(wù)會根據(jù)各節(jié)點的算力特征和網(wǎng)絡(luò)狀況，將任務(wù)分發(fā)到合適的節(jié)點上。節(jié)點按照任務(wù)要求，執(zhí)行計算并生成結(jié)果。
節(jié)點生成的計算結(jié)果需要經(jīng)過驗證，以確保其可信性，對于通過驗證的結(jié)果，節(jié)點的貢獻度會被記錄在去中心化賬本上，作為后續(xù)獎勵分配的依據(jù)。
服務(wù)支持：在整個任務(wù)執(zhí)行過程中，Testnet還提供了節(jié)點發(fā)現(xiàn)、健康監(jiān)控、日志管理等一系列配套服務(wù)，以協(xié)助節(jié)點的管理和問題診斷，保障分布式網(wǎng)絡(luò)的穩(wěn)定運行。
更多訓(xùn)練細節(jié)
另外在訓(xùn)練過程中，INTELLECT2還采用了兩步異步強化學(xué)習(xí)的模式，也就是權(quán)重的廣播與正在進行的推理和訓(xùn)練完全重疊，從而消除了通信瓶頸。
以及雙面GRPO剪輯，通過使用雙面標記概率比剪輯來緩解梯度尖峰，從而使訓(xùn)練更加穩(wěn)定。
數(shù)據(jù)方面，INTELLECT2采用了來自NuminaMath-1.5、Deepscaler和 SYNTHETIC-1的28.5萬個可驗證任務(wù)（數(shù)學(xué)和編碼），并結(jié)合離線和在線過濾來選擇具有挑戰(zhàn)性的任務(wù)，顯著提高了模型學(xué)習(xí)效率。
QwQ-32B數(shù)學(xué)和代碼性能提升
INTELLECT-2的實驗主要包括兩個部分——TARGET-SHORT和TARGET-LONG，分別對應(yīng)短目標長度和長目標長度的訓(xùn)練設(shè)置。
TARGET-SHORT：隨著訓(xùn)練的進行，任務(wù)獎勵（表示數(shù)學(xué)和編程能力）顯著提高，長度懲罰有所下降；TARGET-LONG：任務(wù)獎勵同樣大幅提升，長度懲罰也呈下降趨勢，但在實驗的有限時間內(nèi)尚未完全收斂，模型還未完全學(xué)會嚴格遵守思考預(yù)算。
與基線模型QwQ-32B（INTELLECT-2是由QwQ-32B經(jīng)強化訓(xùn)練而成）相比，INTELLECT-2在數(shù)學(xué)和編程基準測試（如AIME、LiveCodeBench）上的表現(xiàn)有所提升，但在IFEval上略有下降，可能是因為訓(xùn)練只專注于數(shù)學(xué)和編程任務(wù)。
在計算資源利用方面，INTELLECT-2通過異步強化學(xué)習(xí)成功實現(xiàn)了通信和計算的重疊。在兩個實驗設(shè)置中，SHARDCAST廣播平均耗時14分鐘，實現(xiàn)了約590Mb/s的帶寬吞吐量。
團隊曾獲Karpathy投資
INTELLEC-2背后的團隊，名叫Prime Intellect，位于美國舊金山。
創(chuàng)始人兼CEO是Vincent Weisser，來自德國（實際上團隊中很多人都有德國背景），之前參與過大量的創(chuàng)業(yè)項目，Prime Intellect是他新的創(chuàng)業(yè)成果。
聯(lián)創(chuàng)兼CTO Johannes Hagemann，德國Hasso Plattner研究所碩士，本科畢業(yè)于多特蒙德工業(yè)大學(xué)。
CEO Weisser擔任核心成員的創(chuàng)業(yè)項目VitaDAO，Hagemann曾出任策略顧問。
創(chuàng)始工程師Jannik Straube，慕尼黑工業(yè)大學(xué)碩士，之前曾在IBM工作。
在INTELLEC-2之前，Prime Intellect團隊也發(fā)布過一系列分布式訓(xùn)練的模型成果：
INTELLECT-1，第一個在分散式基礎(chǔ)設(shè)施上訓(xùn)練的10B參數(shù)模型；METAGENE-1，用于早期流行病檢測和全球健康應(yīng)用的生物模型；INTELLECT-MATH，使用RL訓(xùn)練的數(shù)學(xué)推理模型。
另外，基于分布式強化學(xué)習(xí)，團隊還推出了從DeepSeek-R1 生成大的合成推理數(shù)據(jù)集GENESYS + SYNTHETIC-1。
今年2月，Prime Intellect團隊獲得了1500萬美元（約1.08億人民幣）的新投資，用來構(gòu)建點對點AI協(xié)議。
這筆投資由創(chuàng)始人基金領(lǐng)銜，投資者中還包括大神Karpathy、Hugging Face聯(lián)創(chuàng)兼CEO Clem Delangue、FlashAttention作者Tri Dao、Stability AI前CEO Emad Mostaque等AI界名人。
加上之前已有的資金，Prime Intellect團隊獲得的總資金超過了2000萬美元。
在接下來的計劃當中，Prime Intellect將進行提高推理-訓(xùn)練計算的比例，為模型提供推理鏈中的內(nèi)置工具（網(wǎng)絡(luò)搜索、Python 解釋器等），以及融合獨立訓(xùn)練的RL模型等一系列工作。
宏觀方面，團隊也將擴大計算市場，擴展去中心化訓(xùn)練，并與開源和去中心化人工智能領(lǐng)域的其他領(lǐng)先項目開展合作。
本文鏈接：http://www.www897cc.com/showinfo-24-149386-0.html全球閑置算力訓(xùn)個模型 性能媲美R1 老黃天塌了
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號