B端難做：留給魔琺科技的時間不多了
來源：零態LT元宇宙泡沫正在碎裂，進入2023年后這一賽道熱度一直在遞減。今年2月，微軟解散了成立僅四個月的工業元宇宙部門；今年3月，該公司2017年收購的虛擬現實社交平臺AltspaceVR
4 月 6 日消息，Meta現已發布旗下最新Llama 4 系列AI 模型，包含 Llama 4 Scout、Llama 4 Maverick 和Llama 4 Behemoth，Meta 透露相應模型都經過了“大量未標注的文本、圖像和視頻數據”的訓練，以使它們具備“廣泛的視覺理解能力”。
目前，Meta 已將系列模型中的 Scout 和Maverick 上架到Hugging Face（點此訪問），而 Behemoth 模型則還在訓練中。其中 Scout 可以在單個英偉達H100 GPU 上運行，而Maverick 則需要英偉達H100 DGX AI 平臺或“同等性能的設備”。
Meta 表示，Llama 4 系列模型是該公司旗下首批采用混合專家（MoE）架構的模型，這種架構在訓練和回答用戶查詢時的效率更高，所謂“混合專家架構”基本上是將數據處理任務分解為子任務，然后將它們委派給更小的、專門的“專家”模型。
例如，Maverick 總共有4000 億個參數，但在128 個“專家”模型中只有170 億個活躍參數（參數數量大致與模型的問題解決能力相對應）。Scout 有170 億個活躍參數、16 個“專家”模型以及總計1090 億個參數。
不過值得注意的是，Llama 4 系列中沒有一個模型是像OpenAI 的o1 和o3-mini 那樣真正意義上的“推理模型”。作為比較，“推理模型”會對其答案進行事實核查，并且通常能更可靠地回答問題，但因此也比傳統的“非推理”模型花費更長的時間來給出答案。
Meta 內部測試顯示，Maverick 模型最適合用于“通用AI 助手和聊天”等應用場景，該模型在創意寫作、代碼生成、翻譯、推理、長文本上下文總結和圖像基準測試中表現超過了OpenAI 的GPT-4o 和谷歌的Gemini 2.0 等模型。然而 Maverick 與谷歌的 Gemini 2.5 Pro、Anthropic 的Claude 3.7 Sonnet 和OpenAI 的GPT-4.5 等功能更強大的最新模型相比仍有一定進步空間。
而 Scout 的優勢則是總結文檔、基于大型代碼庫進行推理。該模型支持 1000 萬個詞元（“詞元”代表原始文本的片段，例如單詞“fantastic”可拆分為“fan”、“tas”和“tic”），因此一次可以處理“多達數百萬字的文本”。
注意到，Meta 還進一步預告了其 Behemoth 模型，據該公司稱，Behemoth 有2880 億個活躍參數、16 個“專家”模型，總參數數量接近2 萬億個。Meta 的內部基準測試顯示，在一些衡量解決數學問題等科學、技術、工程和數學（STEM）技能的評估中，Behemoth 的表現優于GPT-4.5、Claude 3.7 Sonnet 和Gemini 2.0 Pro，但不如Gemini 2.5 Pro。
本文鏈接：http://www.www897cc.com/showinfo-45-12016-0.htmlMeta 發布 Llama 4 系列 AI 模型，引入“混合專家架構”提升效率
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
上一篇： OpenAI 遭實錘：研究稱其 AI 模型“記住”了受版權保護的內容
下一篇： 消息稱谷歌 Gemini AI 部門高層調整：掌門人 Sissie Hsiao 下臺、原 Google Labs 主管上位
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號