AI網(wǎng)紅能年賺百萬，普通人的新機(jī)會來了？
來源｜運(yùn)營研究社作者 | 張知白編輯 | 楊佩汶設(shè)計 | 晏談夢潔2023 年 ，數(shù)字人成為了當(dāng)紅的“流量話題”和“商業(yè)機(jī)會"。不管是 AI 孫燕姿走紅網(wǎng)絡(luò)，還是 AI 數(shù)字
互聯(lián)網(wǎng)上最大規(guī)模的預(yù)訓(xùn)練來了！
Nous Research 宣布正式推出 Psyche 網(wǎng)絡(luò)（Psyche Network），通過去中心化方式革新人工智能（AI）訓(xùn)練。
Psyche 網(wǎng)絡(luò)利用區(qū)塊鏈技術(shù)，匯聚全球計算資源，成功啟動了 40B 參數(shù)大語言模型 Consilience 的預(yù)訓(xùn)練任務(wù)，總計 20 萬億 token，創(chuàng)下了迄今為止互聯(lián)網(wǎng)上最大規(guī)模的預(yù)訓(xùn)練紀(jì)錄。
大語言模型 Consilience 采用 DeepSeek V3 的多頭潛在注意力（MLA）架構(gòu)，相較于 Llama 使用的 GQA 架構(gòu)更具表達(dá)力，同時通過優(yōu)化 QKV 投影矩陣減少計算開銷。
Psyche 利用全球閑置的計算資源（如 4090、A100 和 H100 等消費(fèi)級 GPU），大幅降低訓(xùn)練成本。
通過并行實(shí)驗，Psyche 鼓勵開源社區(qū)提出新的模型架構(gòu)和訓(xùn)練方法，未來可能催生更多創(chuàng)新。
過去，人們總覺得「AI 模型的去中心化訓(xùn)練」不過是一種幻想，尤其在那些超越了愛好者規(guī)模的語言模型面前更是如此。
但幾項關(guān)鍵技術(shù)突破 —— 尤其是并行化和強(qiáng)化學(xué)習(xí) —— 正在逐漸打破這種局限，讓除了 OpenAI、Anthropic 這類大公司之外的小型團(tuán)隊也開始進(jìn)入這個賽道。
現(xiàn)在看來，聰明的算法可以彌補(bǔ)基礎(chǔ)設(shè)施的不足，而像 Nous Research 這樣的去中心化參與者正希望抓住這個機(jī)會。
砸碎算力墻近年來，AI 模型的訓(xùn)練逐漸被大型科技公司壟斷。
訓(xùn)練一個前沿模型需要數(shù)千個高性能 GPU 和超高帶寬的集群，這使得普通研究者或小型團(tuán)隊幾乎無法參與。
這種集中化趨勢不僅限制了創(chuàng)新，還可能導(dǎo)致少數(shù)科技去投壟斷甚至控制 AI 模型。
集中式 AI，可能會少數(shù)科技巨頭「比你更了解你自己」。
Hermes 系列中規(guī)模最大的模型 ——Hermes 3 405B，是在基礎(chǔ)的 Llama 3.1 模型上進(jìn)行微調(diào)完成的。
整個訓(xùn)練過程動用了 128 塊 H100 GPU，耗時約 16 小時（總計約 2,086GPU 小時）。
從成本上看其實(shí)并不離譜 —— 目前租用 8 塊 H100 的計算節(jié)點(diǎn)每小時大約在 16 到 24 美元之間，因此一次完整訓(xùn)練的開銷大約在 5,000 美元左右。
作為 Nous Research Hermes 系列的最新迭代，Hermes 3 405B 自 Llama-3.1 405B 的全參數(shù)微調(diào)模型，
但如果我們想更進(jìn)一步，想得更大呢？
畢竟，Hermes 目前還是依賴 Llama 作為基礎(chǔ)模型。
如果我們不再依賴已有的模型，而是從零開始構(gòu)建自己的基礎(chǔ)模型，那我們就需要更龐大的“船”了。
要以更大規(guī)模、低成本地實(shí)現(xiàn)類似的訓(xùn)練成果，確實(shí)面臨不少挑戰(zhàn)，尤其是當(dāng)訓(xùn)練從集中化的 GPU 集群轉(zhuǎn)向基于互聯(lián)網(wǎng)的去中心化網(wǎng)絡(luò)時。
Nous Research 提出了 Psyche 網(wǎng)絡(luò)的解決方案：通過去中心化的方式，讓全球的計算資源參與 AI 模型訓(xùn)練，降低進(jìn)入門檻，推動 AI 發(fā)展的民主化。
Nous Research 的 Psyche 網(wǎng)絡(luò)成功實(shí)現(xiàn)了去中心化的 AI 訓(xùn)練，開創(chuàng)了一個全新的模式。
Psyche 不僅降低了 AI 開發(fā)的門檻，還推動了全球協(xié)作和創(chuàng)新。
Consilience 模型的預(yù)訓(xùn)練只是起點(diǎn)，未來 Psyche 網(wǎng)絡(luò)有望成為 AI 民主化的重要基石，為開源社區(qū)和小型團(tuán)隊提供與科技巨頭抗衡的機(jī)會。
用 DisTrO 解決帶寬瓶頸在去中心化訓(xùn)練中，網(wǎng)絡(luò)帶寬一直是最令人擔(dān)憂的問題之一。
在傳統(tǒng)的數(shù)據(jù)中心里，GPU 之間通過極高帶寬的連接（如 NVLink 或 InfiniBand）相連，帶寬可達(dá)每秒幾百 Gb（千兆位）。
而相比之下，互聯(lián)網(wǎng)上的志愿者節(jié)點(diǎn)，往往只有幾十甚至幾百 Mb（兆位）每秒的帶寬。
質(zhì)疑者認(rèn)為，這種高達(dá) 100 倍甚至 1,000 倍的帶寬差距，會讓跨互聯(lián)網(wǎng)的 AI 訓(xùn)練變得無比緩慢、幾乎不可能。
畢竟，傳統(tǒng)的訓(xùn)練方式需要 GPU 之間持續(xù)地交換更新信息，而如果試圖用普通家用網(wǎng)絡(luò)來完成這些通信，很可能會陷入「災(zāi)難級」的訓(xùn)練體驗。
在此前對 DeMo（Decoupled Momentum Optimization）的研究基礎(chǔ)上，Nous 推出的 DisTrO 技術(shù)，能夠讓所有訓(xùn)練節(jié)點(diǎn)保持高度同步，同時將所需帶寬降低 1,000 到 10,000 倍。
2024 年 12 月，Nous 與多位合作伙伴一起，在封閉測試網(wǎng)中，訓(xùn)練了一個 150 億參數(shù)的基礎(chǔ)模型，并成功驗證了多項理論設(shè)想：
首次將 DisTrO 優(yōu)化器系列大規(guī)模應(yīng)用于訓(xùn)練任務(wù)
驗證了節(jié)點(diǎn)中途掉線和新增節(jié)點(diǎn)時的容錯能力
證明了增加訓(xùn)練節(jié)點(diǎn)確實(shí)能提升整體訓(xùn)練速度
這次實(shí)驗標(biāo)志著分布式、去中心化訓(xùn)練邁出了從理論走向現(xiàn)實(shí)的關(guān)鍵一步。
在硅谷的一些圈子里，「加密」這個詞幾乎成了貶義詞，而 Nous 一直努力保持與 AI 開發(fā)者之間的開放交流橋梁不被切斷。
也正因如此，他們這次將 Psyche 搭建在區(qū)塊鏈上，是一個值得關(guān)注的重要轉(zhuǎn)變。
Psyche 將成為 Nous 用于預(yù)訓(xùn)練、微調(diào)和部署下一代模型的平臺。
通過將技術(shù)棧遷移到 Solana 區(qū)塊鏈，Nous 希望釋放區(qū)塊鏈的以下三大優(yōu)勢：
無需許可：任何人都可以貢獻(xiàn)計算資源
彈性與高可用性：不再依賴中心化基礎(chǔ)設(shè)施
激勵機(jī)制：協(xié)調(diào)并獎勵為網(wǎng)絡(luò)作出貢獻(xiàn)的參與者
將這一協(xié)議向整個市場開放，意味著任何人都能擁有其中的一部分。而其潛在的擴(kuò)展性之大，顯然已經(jīng)讓不少極客興奮不已。
計劃概覽Nous 的初期目標(biāo)是先上線一個封閉測試網(wǎng)（Phase 0），驗證是否能在 Solana 上運(yùn)行一個更大規(guī)模、分布式、具備容錯能力的 DisTrO 系統(tǒng)。后續(xù)階段會逐步引入更高級的功能。
在 Phase 0 階段，貢獻(xiàn)者可以攜帶自己的 GPU 加入進(jìn)來（明確提到支持 4090、A100 和 H100 等型號），并開始獲得獎勵。此階段會對參與者進(jìn)行篩選，以防止惡意行為者加入。
一旦系統(tǒng)穩(wěn)定運(yùn)行，權(quán)限將逐步開放，允許不同類型的計算資源（無論是專業(yè)的還是消費(fèi)級的）自由接入網(wǎng)絡(luò)，協(xié)助訓(xùn)練 Llama、Diffusion 等不同類型的模型架構(gòu)。
強(qiáng)化學(xué)習(xí)（Reinforcement Learning，RL）不依賴于預(yù)先準(zhǔn)備好的數(shù)據(jù)集，而是通過模型與環(huán)境直接互動來學(xué)習(xí)。
每個節(jié)點(diǎn)如果做出有助于模型進(jìn)化的行為，就會獲得正反饋，反之則獲得負(fù)反饋。
由于這些節(jié)點(diǎn)可以異步運(yùn)行，分布式訓(xùn)練在強(qiáng)化學(xué)習(xí)框架下反而運(yùn)行良好。
每個節(jié)點(diǎn)可以獨(dú)立行動，收集經(jīng)驗，并定期與其他節(jié)點(diǎn)分享進(jìn)展。
這極大緩解了傳統(tǒng)訓(xùn)練中常見的「同步難題」，特別是在硬件能力和網(wǎng)絡(luò)延遲差異大的情況下。
通過 RL，Psyche 上的預(yù)訓(xùn)練模型可以進(jìn)一步學(xué)會推理能力和領(lǐng)域知識。
而每個 Psyche 節(jié)點(diǎn)在訓(xùn)練過程中的表現(xiàn)都將影響它的獎勵：計算能力更強(qiáng)或使用了更先進(jìn)訓(xùn)練方法的節(jié)點(diǎn)，可能會獲得更多代幣激勵。
在常常被斥為「過度炒作又頻頻令人失望」的區(qū)塊鏈生態(tài)中，能看到真正的創(chuàng)新成果，確實(shí)令人欣慰 —— 簡直讓人「冷漠的靈魂也重新燃起了熱情」。
這一切，真的令人感到振奮。
Nous 并不是一開始就擁抱區(qū)塊鏈技術(shù)的，相反，他們幾乎是被「拖著、踢著、喊著」走上了這條路 ——
但原因很簡單：區(qū)塊鏈確實(shí)是解決他們問題最合適的工具。
他們需要一種方式，不論對方來自哪里，都能吸引計算資源與人才并進(jìn)行公平支付；區(qū)塊鏈，在這一點(diǎn)上表現(xiàn)得無比出色。
他們需要一種手段，能夠協(xié)調(diào)并擴(kuò)展大規(guī)模訓(xùn)練任務(wù)；而協(xié)調(diào)與擴(kuò)展，正是區(qū)塊鏈技術(shù)的「第二天性」。
他們還需要一種不受停電、封禁、宕機(jī)等影響的托管機(jī)制，能讓項目「打不死」、無法被關(guān)閉；在這方面，區(qū)塊鏈（這次不再是諷刺）也的確提供了最可靠的保障。
而最值得欣慰的是：這一次，人們選擇區(qū)塊鏈，不是出于投機(jī)炒作，而是出于對實(shí)際問題的認(rèn)真思考與真實(shí)需求的回應(yīng)。
如果 Psyche 成功了，它不僅將證明去中心化訓(xùn)練是切實(shí)可行的，更是回歸初心：為取代的集中化計算，提供了強(qiáng)有力的工具。
參考資料：
https://x.com/NousResearch/status/1922744483571171605
https://nousresearch.com/nous-psyche/
https://x.com/563defi/status/1909976170990313594
本文來自微信公眾號：新智元（ID：AI_era），原標(biāo)題《刷新世界記錄！40B 模型 + 20 萬億 token，散戶組團(tuán)挑戰(zhàn)算力霸權(quán)》
本文鏈接：http://www.www897cc.com/showinfo-45-13220-0.html散戶組團(tuán)挑戰(zhàn)算力霸權(quán)，40B 模型 + 20 萬億 token 刷新世界紀(jì)錄
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號