5月iOS設(shè)備性能榜：M1 M2依舊是榜單前五
和上個(gè)月一樣，沒有新品發(fā)布的iOS設(shè)備性能榜的上榜設(shè)備并沒有什么更替，僅僅只有跑分變化而產(chǎn)生的排名變動(dòng)，剛剛開始的蘋果WWDC2023，推出的產(chǎn)品也依舊是新款Mac Pro、新款Mac Stu
高端GPU持續(xù)缺貨之下，一家要挑戰(zhàn)英偉達(dá)的芯片初創(chuàng)公司成為行業(yè)熱議焦點(diǎn)。
8枚芯片跑大模型，就能支持5萬(wàn)億參數(shù)（GPT-4的三倍） 。
這是獨(dú)角獸企業(yè)SambaNova剛剛發(fā)布的新型AI芯片SN40L——
型號(hào)中40代表是他們第四代產(chǎn)品，L代表專為大模型（LLM）優(yōu)化：高達(dá)1.5T的內(nèi)存，支持25.6萬(wàn)個(gè)token的序列長(zhǎng)度。
CEO Rodrigo Liang表示，當(dāng)前行業(yè)標(biāo)準(zhǔn)做法下運(yùn)行萬(wàn)億參數(shù)大模型需要數(shù)百枚芯片，我們的方法使總擁有成本只有標(biāo)準(zhǔn)方法的1/25。
SambaNova目前估值50億美元（約365億人民幣），累計(jì)完成了6輪總計(jì)11億美元的融資，投資方包括英特爾、軟銀、三星、GV等。
他們不僅在芯片上要挑戰(zhàn)英偉達(dá)，業(yè)務(wù)模式上也說要比英偉達(dá)走的更遠(yuǎn)：直接參與幫助企業(yè)訓(xùn)練私有大模型。
目標(biāo)客戶上野心更是很大：瞄準(zhǔn)世界上大的2000家企業(yè)。
1.5TB內(nèi)存的AI芯片
新產(chǎn)品SN40L，由臺(tái)積電5納米工藝制造，包含1020億晶體管，峰值速度638TeraFLOPS。
與英偉達(dá)等其他AI芯片更大的不同在于新的三層Dataflow內(nèi)存系統(tǒng)。
520MB片上SRAM內(nèi)存
65GB的高帶寬HBM3內(nèi)存
以及高達(dá)1.5TB的外部DRAM內(nèi)存
與主要競(jìng)品相比，英偉達(dá)H100高擁有80GB HBM3內(nèi)存，AMD MI300擁有192GB HBM3內(nèi)存。
SN40L的高帶寬HBM3內(nèi)存實(shí)際比前兩者小，更多依靠大容量DRAM。
Rodrigo Liang表示，雖然DRAM速度更慢，但專用的軟件編譯器可以智能地分配三個(gè)內(nèi)存層之間的負(fù)載，還允許編譯器將8個(gè)芯片視為單個(gè)系統(tǒng)。
除了硬件指標(biāo)，SN40L針對(duì)大模型做的優(yōu)化還有同時(shí)提供密集和稀疏計(jì)算加速。
他們認(rèn)為大模型中許多權(quán)重設(shè)置為0，像其他數(shù)據(jù)一樣去執(zhí)行操作很浪費(fèi)。
他們找到一種軟件層面的加速辦法，與調(diào)度和數(shù)據(jù)傳輸有關(guān)，但沒有透露細(xì)節(jié)，“我們還沒準(zhǔn)備好向公布是如何做到這一點(diǎn)的”。
咨詢機(jī)構(gòu)Gartner的分析師Chirag Dekate認(rèn)為，SN40L的一個(gè)可能優(yōu)勢(shì)在于多模態(tài)AI。
GPU的架構(gòu)非常嚴(yán)格，面對(duì)圖像、視頻、文本等多樣數(shù)據(jù)時(shí)可能不夠靈活，而SambaNova可以調(diào)整硬件來滿足工作負(fù)載的要求。
目前，SambaNova的芯片和系統(tǒng)已獲得不少大型客戶，包括世界排名前列的超算實(shí)驗(yàn)室，日本富岳、美國(guó)阿貢國(guó)家實(shí)驗(yàn)室、勞倫斯國(guó)家實(shí)驗(yàn)室，以及咨詢公司埃森哲等。
業(yè)務(wù)模式也比較特別，芯片不單賣，而是出售其定制技術(shù)堆棧，從芯片到服務(wù)器系統(tǒng)，甚至包括部署大模型。
為此，他們與TogetherML聯(lián)合開發(fā)了BloomChat，一個(gè)1760億參數(shù)的多語(yǔ)言聊天大模型。
BloomChat建立在BigScience組織的開源大模型Bloom之上，并在來自O(shè)penChatKit、Dolly 2.0和OASST1的OIG上進(jìn)行了微調(diào)。
訓(xùn)練過程中，它使用了SambaNova獨(dú)特的可重配置數(shù)據(jù)流架構(gòu)，然后在SambaNova DataScale系統(tǒng)進(jìn)行訓(xùn)練。
這也是這家公司大被投資者熱捧之外的大爭(zhēng)議點(diǎn)之一，很多人不看好一家公司既做芯片又做大模型。
給每家大企業(yè)打造150個(gè)大模型
在與The Next Platform網(wǎng)站交流時(shí)，CEO Rodrigo Liang表示：
用于大模型訓(xùn)練的公開數(shù)據(jù)已快耗盡，但對(duì)參數(shù)數(shù)量的追求還在不斷增加。
各種大模型的性能相差只有幾個(gè)百分點(diǎn)，這不是大家應(yīng)該玩的游戲。
他認(rèn)為大模型與生成式AI商業(yè)化的下一個(gè)戰(zhàn)場(chǎng)是企業(yè)的私有數(shù)據(jù)，尤其是大企業(yè)。
這些企業(yè)坐擁大量的數(shù)據(jù)，但自己不知道其中大部分內(nèi)容是什么。
對(duì)于企業(yè)私有大模型的形態(tài)，SambaNova也有與眾不同的觀點(diǎn)。
他們認(rèn)為終企業(yè)內(nèi)部不會(huì)運(yùn)行一個(gè)GPT-4或谷歌Gemini那樣的超大模型，而是根據(jù)不同數(shù)據(jù)子集創(chuàng)建150個(gè)獨(dú)特的模型，聚合參數(shù)超過萬(wàn)億。
相當(dāng)于把GPT-4等大模型內(nèi)部的Mixture of Experts（專家混合）架構(gòu)擴(kuò)展到整個(gè)系統(tǒng)，稱為Composition of Experts（專家合成）。
在企業(yè)運(yùn)轉(zhuǎn)的每個(gè)節(jié)點(diǎn)運(yùn)行一個(gè)完整且經(jīng)過專門調(diào)整的基礎(chǔ)模型，分別用法律語(yǔ)料庫(kù)、制造語(yǔ)料庫(kù)、風(fēng)險(xiǎn)管理語(yǔ)料庫(kù)、財(cái)富管理語(yǔ)料庫(kù)、客戶銷售語(yǔ)料庫(kù)、客戶支持語(yǔ)料庫(kù)等等不同數(shù)據(jù)訓(xùn)練。
這些專家模型之間通過一種軟件路由或負(fù)載平衡器聯(lián)在一起，收到推理請(qǐng)求后決定具體向哪個(gè)模型推送提示詞。
這一策略與GPT-4和谷歌Gemini等做法形成鮮明對(duì)比，巨頭大多希望創(chuàng)建一個(gè)能泛化到數(shù)百萬(wàn)個(gè)任務(wù)的巨型模型。
分析師認(rèn)為技術(shù)上可能谷歌的做法性能更強(qiáng)，但SambaNova的方法對(duì)企業(yè)來說更實(shí)用。
沒有任何一個(gè)模型或人能完整訪問企業(yè)的所有數(shù)據(jù)，限制每個(gè)部門能訪問的專家模型，就能限制他們能訪問的數(shù)據(jù)。
斯坦福系芯片公司，華人工程師主力
SambaNova成立于2017年，2020年之前都比較低調(diào)。
聯(lián)創(chuàng)3人都是斯坦福背景，連產(chǎn)品系列名Cardinal（深紅色）都是斯坦福的昵稱與代表顏色。
CEO Rodrigo Liang是前Sun/甲骨文工程副總裁，也有人將這個(gè)名字解讀為暗指甲骨文老對(duì)頭IBM的DeepBlue（深藍(lán)）。
另外兩位聯(lián)合創(chuàng)始人都是斯坦福教授。
CTO Kunle Olukotun是電氣工程教授，因多核芯片架構(gòu)方面的研究而聞名，開發(fā)了首批支持線程級(jí)推測(cè) (TLS) 的芯片之一。
Christopher Ré是計(jì)算機(jī)科學(xué)副教授，重點(diǎn)研究方向機(jī)器學(xué)習(xí)和數(shù)據(jù)分析的速度和可擴(kuò)展性。
此外團(tuán)隊(duì)中還有不少華人工程師。
從官網(wǎng)公開信息來看，SambaNova的領(lǐng)導(dǎo)團(tuán)隊(duì)中，至少有3名華人。
Jonathan Chang，擁有UC伯克利的機(jī)械工程學(xué)士學(xué)位以及南加州大學(xué)的MBA學(xué)位。
他在構(gòu)建高增長(zhǎng)方面擁有20多年的經(jīng)驗(yàn)。加入SambaNova之前，Chang在特斯拉工作了近9年。
Marshall Choy，此前曾擔(dān)任甲骨文公司系統(tǒng)產(chǎn)品管理和解決方案開發(fā)副總裁，監(jiān)督了數(shù)十個(gè)行業(yè)的企業(yè)硬件和軟件產(chǎn)品的上市。
Penny Li，在EDA工具和微處理器設(shè)計(jì)方面擁有超過27年的經(jīng)驗(yàn)。此前，她曾在IBM和甲骨文工作過。
如果去領(lǐng)英搜索還能發(fā)現(xiàn)更多華人團(tuán)隊(duì)成員。
目前SambaNova包含SN40L芯片的人工智能引擎已上市，但定價(jià)沒有公開。
根據(jù)Rodrigo Liang的說法，8個(gè)SN40L組成的集群總共可處理5萬(wàn)億參數(shù)，相當(dāng)于70個(gè)700億參數(shù)大模型。
全球2000強(qiáng)的企業(yè)只需購(gòu)買兩個(gè)這樣的8芯片集群，就能滿足所有大模型需求。
參考鏈接：
[1]https://spectrum.ieee.org/ai-chip-sambanova
[2]https://www.nextplatform.com/2023/09/20/sambanova-tackles-generative-ai-with-new-chip-and-new-approach/
[3]https://sambanova.ai/resources/
本文鏈接：http://www.www897cc.com/showinfo-17-11135-0.html1.5T內(nèi)存挑戰(zhàn)英偉達(dá)！8枚芯片撐起3個(gè)GPT-4：華人AI芯片獨(dú)角獸估值365億
聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
上一篇： 任正非談農(nóng)村學(xué)英文困難：不學(xué)英文 農(nóng)村孩子永遠(yuǎn)就是農(nóng)民
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)