3月11日周一,馬斯克發推文說要在一周內開源Grok。眾多開發者等著盼著過了一周,到周日Grok才正式將代碼推到了開源社區。
開源的Grok-1是一個基于Transformer架構的自回歸模型,參數規模達到3140億參數,是目前參數量大的開源模型之一,Grok-1與主流開源大模型一樣免費可商用。
在開源之前,Grok大的亮點是直接調用X中的實時數據和“幽默”。
但開源版本的Grok已經打了折扣——在開發者手里,Grok不可能調取X的數據。從本次開源的信息來看,2023年11月Grok上線以后調用過的X數據,也沒有被作為訓練數據沉淀到Grok中。
除開源打折外,Grok本身的性能也并不占優。剛上線時,Grok的評分就遠落后于當時的Palm 2、Claude 2和GPT-4。典型的問題是,其支持的上下文長度只有8192個token。
Grok取得的關注(上線3天在GitHub收獲3.9萬Star),似乎很大一部分都來自馬斯克本身的流量熱度。開源Grok被馬斯克說成是為了踐行“AI造福全人類”的目標,但在與OpenAI的官司期間開源,有觀點認為,Grok 開源的目的之一,就是為馬斯克起訴、聲討OpenAI提供的事實依據——這是一場由馬斯克親自操盤的“AI 大秀”。
開源Grok是作秀?
開源是一場讓企業與開發者跳雙人舞的“社區游戲”,但Grok這個“舞伴”,完全不是普通開發者所能掌控的。
在Grok-1之前,很多開源大語言模型(LLM)的參數量只有70億,LLaMA-2開源的大參數量也只有700億。
而馬斯克直接開源了自家尺寸大的3140億參數模型,據估計Grok-1需要約628 GB GPU內存才能勉強運行,普通開發者幾乎不可能在本地嘗試Grok-1,對于云服務用戶來說,至少需要8張80GB顯存的A100或H100 GPU。
在Grok的GitHub討論區有用戶留言表示:谷歌云上80GB A100的4卡服務器每小時運行成本是20美元,這不適合我。(GCP instance with 4 A100 80GB; it cost around $20 per hour; this is not for me LOL.)
Grok開源之后,筆者也加入了一個關于Grok的開源討論群,但到了第二天,群內的討論焦點,已經轉向了只有40億參數的Qwen-1.5。
不過,Grok-1也支持8bit量化,一些開發者認為,如果模型可以量化到160GB,“可玩性”會大幅提高。算力不太寬裕的開發者,可以等到官方或者其他開發者發布量化版本后再嘗試。
至少從短期來看,開源Grok對普通開發者并不是很友好。那么開源對于Grok本身來說,有什么幫助呢?從傳統的開源視角來看,也很難說。
一些人認為開源模型可以匯聚更多開發者力量,幫助優化模型。但今天的開源AI與傳統的開源軟件邏輯幾乎完全不同。代碼開源對于AI大模型的促進作用,并不像過去的開源軟件那樣明顯。
傳統軟件開發過程中,一款系統、工具或軟件開源以后,開發者可以基于共享代碼直接修復bug,優化程序。然而今天的多數AI模型本身就是一個很大的黑盒,要從中找到問題,并對模型的底層算法進行訓練、調優并不容易。
“AI大模型訓練是一個很‘集中’的工作。”生數科技CEO唐家渝表示,AI大模型很難通過“分布式”的開源來收集開發者的“貢獻”。閉源反而是更能集中包括智力的資源、算力的資源,去做不斷地迭代的。
一些開發者認為,對于開源AI模型的作者來說,大的好處是打響知名度——以Grok目前的模型能力來看,只有吸引一批開發者、公司、機構對模型進行試用、開發,逐步建立起對模型的認可,才能穩固其在AI大模型領域的“江湖地位”,提高這款既不太新,也不太強的AI大模型的影響力。
閉源Grok把路走窄了?
從AI行業角度來看,Grok的受關注度不高。由于模型跑分不高,過去幾個月中發布的AI大模型,在對比評測數據集得分時,幾乎很少有人對標Grok。
從業務視角來看,Grok在X平臺中的表現也不理想。
Grok上線到X后,與ChatGPT Plus一樣采取訂閱制,但ChatGPT的GPT-3.5免費開放,而Grok則一刀切,只提供給X Premium會員。X Premium會員的訂閱費用是16美元包月,168美元包年。
由于一開始就設置了付費門檻,Grok沒有吃到X龐大用戶基礎的紅利。
數據網站SimilarWeb的統計顯示,2024年2月,x.com的總訪問量為1.04億次,平均訪問時長只有24秒。對比其他幾家主流閉源AI的同期流量,chat.openai.com訪問量為15.5億次,平均訪問時長是7分33秒;gemini.google.com訪問量為3.161億次,平均訪問時長6分22秒;相對小眾一些的claude.ai訪問量為2086萬次,平均訪問時間為5分48秒。
雖然影響網站流量的因素很多,且x.com網站的受眾、屬性與其他幾家也有明顯差異,直接對比流量并不能完全說明問題,但訪問時長的巨大差異,也側面反映了X用戶大概率沒有跟付費的Grok聊太多。
馬斯克早給Grok的戰略定位,可能更多是考慮促進X的Premium會員銷售,以補貼X的廣告收入。然而,如今Grok在X中發揮的作用很可能并沒有達到馬斯克的預期。與其一直在X Premium中“躺平”,開源Grok或許能給馬斯克和x.AI打開新局面。
開源激起千層浪
在AI大模型熱潮中,靠開源大模型樹立行業地位的公司并不少見,包括MistralAI以及國內的智譜,阿里的通義千問等。
深陷元宇宙泥潭的Meta更是依靠開源LLaMA模型打了一次翻身仗。在2023年中,全球市場大的變數是AI大模型,而Meta大的變數就是開源了一款AI大模型。
通過開源LLaMA,Meta展現了其在大型語言模型(LLM)領域的技術實力和開放創新的姿態,這在一定程度上幫助公司緩解了市場對其元宇宙戰略的擔憂。由此Meta的股價也在一年內翻了幾番,市值從3155億美元漲到1.2萬億美元,漲出了19個京東。
LLaMA的開源,特別是其成本效益高的特點,對Meta而言具有戰略意義。與Google和Microsoft等競爭對手的AI大模型相比,LLaMA的小巧和高性能使得Meta能夠以較低成本部署高效的AI模型。這不僅提高了AI技術的普及率,也為Meta未來在各種應用和用例上的廣泛部署提供了可能。有分析人士認為,基于Meta的業務范圍,從聊天機器人到游戲,再到未來的生產力軟件,生成式AI預計將帶動一個價值超過500億美元的市場。
雖然LLaMA初的開源一直被業界傳說是無意間的“泄露”,但其終的結果卻為Meta在AI大模型行業奠定了技術和市場的領導地位。
“開源”的戰略邏輯,對于馬斯克來說并不陌生。
2014年,馬斯克開放了特斯拉的350多項電動車專利技術。當時馬斯克在接受采訪時表示,“特斯拉的首要目標是加速全世界向可持續能源轉變”。事實證明,馬斯克大公無私的“開源”,在后來使得他自己成為了大的受益者。
特斯拉開放專利的做法,一舉將全球汽車市場的水攪渾。大量新能源車企借助特斯拉的專利異軍突起,直接激活了整個新能源汽車市場。而特斯拉作為行業領軍企業,則借助長期積累的行業口碑和技術開發實力,持續保持了行業的領先地位。
雖然開源Grok大概不會像特斯拉開放專利那一石激起千層浪,改變整個AI行業的格局,但對于目前的x.AI來說,應該也會產生一些積極的影響。
本文鏈接:http://www.www897cc.com/showinfo-17-78206-0.html馬斯克為何要作開源“秀”
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com
上一篇: 黃仁勛:英偉達不能沒有中國市場