當前位置：首頁 > 元宇宙 > AI

參數破3000億卻性能平庸？大模型的新革命來了！

來源：責編：時間：2024-04-19 09:20:39 122觀看

導讀4月17日消息，近日，科技領域對于模型訓練的效率和性能展開了新的討論。這主要源于面壁智能發布的一系列高效、低參數的大模型，這些模型在保持高性能的同時，顯著降低了參數規模和訓練成本。大約一個月前，馬斯克旗下的xAI團隊

4月17日消息，近日，科技領域對于模型訓練的效率和性能展開了新的討論。這主要源于面壁智能發布的一系列高效、低參數的大模型，這些模型在保持高性能的同時，顯著降低了參數規模和訓練成本。

大約一個月前，馬斯克旗下的xAI團隊開源了名為Grok-1的巨型MoE模型，其參數量高達3140億，被譽為“龐然大物”。然而，令人驚訝的是，盡管Grok-1在參數規模上占據優勢，但其性能表現卻僅與MistralAI的8x7B MoE模型相當。這一現象引發了業內對于“參數數量與模型性能”關系的深入反思。

在此背景下，面壁智能的最新研究成果顯得格外引人注目。據悉，面壁智能自2020年開始訓練大模型以來，便始終致力于提升模型訓練的效率。他們堅信，“讓每一個參數發揮最大的作用”，在同等參數量上實現更好的性能，才是解決大模型“高效”訓練的核心。

今年2月，面壁智能發布了MiniCPM2B模型，該模型在較小的參數量基礎上實現了與Mistral-7B相當的性能，驗證了其“低參數、高性能”的方法論。更重要的是，面壁智能通過這一系列研究，成功降低了千億大模型的訓練成本。

4月11日，面壁智能又推出了新一代端側旗艦大模型系列，包括顯著增強OCR能力的2.8B多模態模型MiniCPM-V2.0、僅1.2B卻強過llama2-13B的MiniCPM-1.2B模型等。這些模型的推出進一步證明了面壁智能在高效訓練大模型方面的實力。

據ITBEAR科技資訊了解，面壁智能之所以能夠在模型訓練效率和性能上取得顯著成果，得益于他們獨特的“高效訓練”理念以及在小模型上的深入探索。通過小模型驗證大模型的訓練投入產出比，面壁智能走出了一條獨特的研發路線。這不僅使他們在資源有限的情況下實現了模型的高效訓練，還為未來實現通用人工智能(AGI)奠定了堅實的基礎。

近日，面壁智能也完成了新一輪數億元融資，這將為他們未來的研發工作提供更多的資金支持。在追求高效訓練的道路上，面壁智能正不斷取得新的突破，為大模型領域的發展注入了新的活力。

標簽：ScalingLaw

舉報 0收藏 0打賞 0評論 0

更多>同類資訊

AI評標師來了，國能集團每年省5400億！

4月17日消息，近日，國內首個“AI評標師”已在國內大型企業國家能源集團投入使用。這一創新利用AI技術進行采購場景的優化，顯著提升了評審準確率，為企業帶來了前所未有的變革。據統計，央企和國企的招標采購規模相當可觀。2022年，國有企業的采購金

04-17

MiniMax 稀宇科技推出萬億參數MoE模型abab 6.5 ，核心能力接近 GPT-4

4月17日消息，國內AI初創企業MiniMax稀宇科技今日宣布，他們已成功研發出基于MoE(Mixture of Experts)混合專家模型架構的abab 6.5系列模型，這標志著該公司在人工智能領域取得了重要突破。據悉，該系列模型的核心能力已經開始接近當前領先的GPT-4、Cl

04-17

英特爾借助AI技術，大幅縮短酷睿Ultra處理器設計周期

4月17日消息，英特爾在最近的一篇博客中透露，他們已經廣泛地將人工智能(AI)技術應用于包括酷睿Ultra處理器在內的各種工作中，特別是在處理器的熱設計上。酷睿Ultra處理器作為英特爾的客戶端產品代表，在運行過程中重度依賴于睿頻功能。然而，睿頻加

04-17

OPENAI顛覆性創新：異步批量處理，輕松應對數據洪流！

4月17日消息，OPENAI今日發布了一項新的API，專為需要處理大量內容的開發者設計。該批量處理API允許開發者一次性提交大量數據，并在24小時內接收處理結果，從而極大地提升了處理效率。這一新功能的推出，不僅為開發者帶來了便利，同時也對OPENAI自身

04-17

斯坦福報告：中國領跑全球AI專利榜，但頂級模型仍顯不足

4月17日消息，斯坦福大學近日公布了《2024年人工智能指數報告》。這份長達500頁的研究報告，被譽為該校至今為止最為詳盡的AI領域分析。它不僅深入探討了人工智能技術的前沿進展，還廣泛涉及了公眾對此技術的認知以及與之相關的地緣政治動態。報告顯示

04-17

螞蟻、谷歌等聯手出擊，AI安全有了新保障？！

4月17日消息，近日，在瑞士盛大舉行的第27屆聯合國科技大會上，世界數字技術院(WDTA)向全球公布了《生成式人工智能應用安全測試標準》與《大語言模型安全測試方法》兩大國際標準。據ITBEAR科技資訊了解，這兩項備受矚目的標準并非一蹴而就，而是由Ope

04-17

大模型安全國際標準首次亮相，螞蟻集團、OpenAI等聯手參編

4月17日消息，近日，第27屆聯合國科技大會在瑞士日內瓦隆重召開，吸引了全球科技領域的目光。在4月16日的會議上，新成立的國際組織世界數字技術院(WDTA)公布了兩項重要的國際標準——《生成式人工智能應用安全測試標準》和《大語言模型安全測試方法》

04-17

亞馬遜Amazon Music推出AI智能歌單功能“Maestro”測試版

4月17日消息，亞馬遜近日宣布，其旗下音樂應用 Amazon Music 已向部分美國用戶開放了AI生成歌單功能“Maestro”的測試。這一新穎功能允許用戶通過輸入多樣化的提示，包括文字、表情符號或它們的組合，迅速生成個性化的定制歌單。Maestro功能的操作界

04-17

天工SkyMusic音樂大模型公測啟動，昆侖萬維打造中國音樂SOTA新標桿

4月17日消息，昆侖萬維今日宣布，其天工3.0大模型在性能方面取得了顯著提升，并已向全社會開放公測其旗下的天工SkyMusic音樂大模型。據了解，天工3.0擁有高達4000億參數，已超越擁有3140億參數的Grok-1，從而成為全球最大的開源MoE大模型。該模型在語

04-17

微軟15億美元助力G42，共同開拓人工智能新領域與全球市場

4月16日消息，科技巨頭微軟公司近日宣布，將向阿聯酋人工智能(AI)技術控股公司G42進行一筆高達15億美元(約合人民幣108.75億元)的戰略投資。此舉旨在深化雙方的合作，共同推進人工智能技術的發展，并將微軟的尖端技術引入阿聯酋及全球市場。作為此次投

04-16

OpenAI CEO與COO共話未來：AI成本大降，普及時代或將到來

4月16日消息，OpenAI的CEO阿爾特曼和COO布拉德?萊特凱普近日一同參與了YouTube頻道“20VC”的對話節目。在這次對話中，兩位高管就AI技術的發展及其商業應用前景進行了深入的探討。阿爾特曼認為，當前限制AI發展的主要因素在于地緣政治、社會經濟等方

04-16

蘋果iOS 18將引領AI革命？全新功能曝光！

4月16日消息，據彭博社的馬克·古爾曼透露，蘋果正計劃在iOS 18中首次推出全新的人工智能功能，而這些功能將完全不依賴云服務器運行。在今日的“Power on”時事通訊問答欄目中，古爾曼提到：“全球都在期待蘋果在6月即將發布的大型人工智能產品，初步

04-16

百度創始人再放話：開源模型將落后？！

4月16日消息，百度于今日舉辦了Create 2024百度AI開發者大會，百度創始人李彥宏在會上再次重申，開源模型在未來可能會逐漸落后。李彥宏曾公開表示，只有閉源模型才具備盈利能力，從而能夠吸引更多的人才和算力資源。相比之下，開源模型的社區貢獻率較

04-16

全球首個AI原生操作系統，你了解DuerOS X嗎？

4月16日消息，近日，在百度舉辦的Create 2023 AI開發者大會上，小度科技推出了全新的DuerOS X操作系統。該系統是基于百度文心大模型全面升級的成果，被譽為全球首個AI原生操作系統。DuerOS X在多模態感知與擬人化呈現上取得了顯著進展，預期將為人機

04-16

谷歌豪擲千億美元加速AI研發，DeepMind領航未來科技

4月16日消息，谷歌旗下AI研究部門DeepMind的首席執行官Demis Hassabis近日透露，谷歌計劃投入逾1000億美元用于人工智能技術的研發，這一巨額投資凸顯了硅谷在AI領域的激烈競爭。Hassabis還自豪地指出，谷歌的計算實力已經超越了微軟等其他行業巨頭。

04-16

點擊查看更多 +

全站最新

2024年高性價比家用激光投影怎么選？當貝X5 Pro目前家用最好的4K投影

卓威科技：女性支撐的消費市場

自帶AI按鈕，羅技Signature AI Edition M750鼠標全新發布

特斯拉上海儲能工廠下月動工，預計明年初實現大規模生產

“變形金剛”定制版布加迪Veyron GS Vitesse將亮相拍賣場，全球僅此一輛！

豐田積極調整電動車策略，計劃推出純電版漢蘭達

熱門內容

華為云攜手樂聚機器人，共探“盤古大模型+夸父人形機器人”新應用場景
谷歌發布CodeGemma AI模型，打造頂級代碼輔助利器
華為云攜手貴安新區，共筑全球領先智算高地
谷歌借助AI突破：提前7天預測洪災，全球80國將受益
音樂界的ChatGPT？天工SkyMusic邀您體驗AI音樂創作
馬斯克旗下xAI發布創新模型Grok-1.5V 實現流程圖到Python代碼的轉換
谷歌AI應用 Google Vids亮相：PPT技能通用，視頻制作與多人協作一站式搞定
WPS推出AI會員服務，月費25元起，開啟AI辦公新紀元
微軟或與OpenAI聯手，斥資千億美元打造“星際之門”AI超算
英美聯手打造AI安全新標桿，科學合作伙伴關系正式建立
AI新勢力Kimi挑戰百度霸權，阿里成背后金主
百度不開源文心一言，為何還自信能領先？
百度文心一言推出新功能，秒速定制你的專屬AI聲音
人工智能音樂大殺器！「天工SkyMusic」你敢試嗎？
馬斯克再談AI風險：利大于弊仍值得冒險

本欄最新

英特爾借助AI技術，大幅縮短酷睿Ultra處理器設計周期

螞蟻、谷歌等聯手出擊，AI安全有了新保障？！

亞馬遜Amazon Music推出AI智能歌單功能“Maestro”測試版

OpenAI CEO與COO共話未來：AI成本大降，普及時代或將到來

蘋果iOS 18將引領AI革命？全新功能曝光！

百度創始人再放話：開源模型將落后？！

本文鏈接：http://www.www897cc.com/showinfo-45-5186-0.html參數破3000億卻性能平庸？大模型的新革命來了！

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： Sam Altman爆料：OpenAI的下一步將震驚世界！

下一篇： AI評標師來了，國能集團每年省5400億！

標簽：

熱門焦點

如何對一款 NFT 項目進行價值評估？

原文作者 | Othmane Senhaji Rhazi，Web 3 企業家.編譯整理 | 黑米@白澤研究院我之所以成為一位大力倡導 Web3 和 NFT 領域的企業家，因為我相信我們正在見證社會
中國區塊鏈產業生態地圖報告（2021）

區塊鏈是技術整合創新、金融創新、組織方式創新、產業應用創新的多維度創新，以服務實體經濟、政務民生以及公共服務等領域為落腳點，以期實現整個地區和產業的資
紐約街頭出現NFT自動販賣機

一家初創公司宣布在紐約市開放一臺NFT自動售貨機，允許任何人——即使是沒有加密資產的人也能購買NFT。該交易平臺名為Neon，上個月完成了一輪300萬美元的種子募捐
Meta 呼吁行業合作建立元宇宙網絡基礎設施

Facebook 的母公司 Meta呼吁，建立必要的全球合作的基礎設施，以支持其蓬勃發展的元宇宙野心。“元宇宙”成為 2021 年的主要流行語之一，這在很大程度上是由 Facebo
新聞業在元宇宙的現狀和未來

“美聯社有毛病吧，這真的過分了！”，一位媒體編輯在推特中憤怒地表示。這是針對一款視頻NFT的批評言論之一，之后取消了此次銷售，因為該視頻呈現了移民穿越地中海的苦
知名藝術家打造去中心化“好萊塢”：一部電影一個DAO

根據市場追蹤網站 DappRadar 的數據，隨著 NFT 的“出圈”與加密貨幣的普及，NFT 市場在 2021 年的銷售額達到約 250 億美元，而 2020 年僅為 9490 萬美元，同比增超 2
2022年元宇宙系列報告：UGC當道，XR帶來新交互體驗

UGC作為元宇宙的主要內容創作模式，已經越來越多的呈現于游戲、娛樂、社交、傳媒等方面，UGC模式勾勒了元宇宙的邊界，現今元宇宙UGC模式的主要呈現方式以元宇宙概念
76億美金估值、2022年最具創新力公司，Dapper Labs如何做到？

“元宇宙的開拓者”是我們針對元宇宙的發展而設立的專欄，主要面向那些深挖元宇宙產業或者在元宇宙進行“淘金”的從業者，分享這些企業或者創業者們的故事，以獨特

日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

首頁

元宇宙

NFT

區塊鏈

虛擬人

AR/VR

AI

元宇宙百科

參數破3000億卻性能平庸？大模型的新革命來了！

10億基金，李彥宏呼喚下一個AI獨角獸

如何對一款 NFT 項目進行價值評估？

中國區塊鏈產業生態地圖報告（2021）

紐約街頭出現NFT自動販賣機

Meta 呼吁行業合作建立元宇宙網絡基礎設施

新聞業在元宇宙的現狀和未來

知名藝術家打造去中心化“好萊塢”：一部電影一個DAO

2022年元宇宙系列報告：UGC當道，XR帶來新交互體驗

76億美金估值、2022年最具創新力公司，Dapper Labs如何做到？

最新推薦

風口已至，多領域平臺融入社交元素！

“虛擬人”角斗場，基于“硬實力”下的人性平衡法則？

Meta公布AI概念“Builder Bot”；銀保監發布元宇宙相關風險提示

NFT：新騙局的狩獵場

NFT行業的三大區塊鏈之一引起了Snoop Dogg的強烈興趣，究竟有何潛力？

百度虛擬人——AI手語主播首次亮相冬奧會！

猜你喜歡

熱門推薦

相關資訊