AI網紅能年賺百萬，普通人的新機會來了？
來源｜運營研究社作者 | 張知白編輯 | 楊佩汶設計 | 晏談夢潔2023 年 ，數字人成為了當紅的“流量話題”和“商業機會"。不管是 AI 孫燕姿走紅網絡，還是 AI 數字
【新智元導讀】AI 世界的進化快得有點跟不上了。剛剛，全球最強最大 AI 芯片 WSE-3 發布，4 萬億晶體管 5nm 工藝制程。更厲害的是，WSE-3 打造的單個超算可訓出 24 萬億參數模型，相當于 GPT-4 / Gemini 的十倍大。
全球最快、最強的 AI 芯片面世，讓整個行業瞬間驚掉了下巴！
AI 芯片初創公司 Cerebras 重磅發布了「第三代晶圓級引擎」（WSE-3）。性能上，WSE-3 是上一代 WSE-2 的兩倍，且功耗依舊保持不變。
90 萬個 AI 核心，44GB 的片上 SRAM 存儲，讓 WSE-3 的峰值性能達到了 125 FP16 PetaFLOPS。
這相當于 52 塊英偉達 H100 GPU！
不僅如此，相比于 800 億個晶體管，芯片面積為 814 平方毫米的英偉達 H100。
采用臺積電 5nm 制程的 WSE-3，不僅搭載了 40000 億個晶體管（50 倍），芯片面積更是高達 46225 平方毫米（57 倍）。
此前，在傳統的 GPU 集群上，研究團隊不僅需要科學地分配模型，還必須在過程中處理各種復雜問題，比如處理器單元的內存容量、互聯帶寬、同步機制等等，同時還要不斷調整超參數并進行優化實驗。
更令人頭疼的是，最終的實現很容易因為小小的變動而受到影響，這樣就會進一步延長解決問題所需的總時間。
相比之下，WSE-3 的每一個核心都可以獨立編程，并且專為神經網絡訓練和深度學習推理中，所需的基于張量的稀疏線性代數運算，進行了優化。
而團隊也可以在 WSE-3 的加持下，以前所未有的速度和規模訓練和運行 AI 模型，并且不需要任何復雜分布式編程技巧。
其中，WSE-3 配備的 44GB 片上 SRAM 內存均勻分布在芯片表面，使得每個核心都能在單個時鐘周期內以極高的帶寬（21 PB/s）訪問到快速內存 —— 是當今地表最強 GPU 英偉達 H100 的 7000 倍。
超高帶寬，極低延遲而 WSE-3 的片上互連技術，更是實現了核心間驚人的 214 Pb / s 互連帶寬，是 H100 系統的 3715 倍。
單個 CS-3 可訓 24 萬億參數，大 GPT-4 十倍由 WSE-3 組成的 CS-3 超算，可訓練比 GPT-4 和 Gemini 大 10 倍的下一代前沿大模型。
再次打破了「摩爾定律」！2019 年 Cerebras 首次推出 CS-1，便打破了這一長達 50 年的行業法則。
官方博客中的一句話，簡直刷新世界觀：
在 CS-3 上訓練一個萬億參數模型，就像在 GPU 上訓練一個 10 億參數模型一樣簡單！
顯然，Cerebras 的 CS-3 強勢出擊，就是為了加速最新的大模型訓練。
它配備了高達 1.2PB 的巨大存儲系統，單個系統即可訓出 24 萬億參數的模型 —— 為比 GPT-4 和 Gemini 大十倍的模型鋪平道路。
簡之，無需分區或重構，大大簡化訓練工作流提高開發效率。
在 Llama 2、Falcon 40B、MPT-30B 以及多模態模型的真實測試中，CS-3 每秒輸出的 token 是上一代的 2 倍。
而且，CS-3 在不增加功耗 / 成本的情況下，將性能提高了一倍。
除此之外，為了跟上不斷升級的計算和內存需求，Cerebras 提高了集群的可擴展性。
上一代 CS-2 支持多達 192 個系統的集群，而 CS-3 可配置高達 2048 個系統集群，性能飆升 10 倍。
具體來說，由 2048 個 CS-3 組成的集群，可以提供 256 exafloop 的 AI 計算。
能夠在 24 小時內，從頭訓練一個 Llama 70B 的模型。
相比之下，Llama2 70B 可是用了大約一個月的時間，在 Meta 的 GPU 集群上完成的訓練。
與 GPU 系統的另一個不同是，Cerebras 晶圓規模集群可分離計算和內存組件，讓開發者能輕松擴展 MemoryX 單元中的內存容量。
得益于 Cerebras 獨特的 Weight Streaming 架構，整個集群看起來與單個芯片無異。
換言之，一名 ML 工程師可以在一臺系統上開發和調試數萬億個參數模型，這在 GPU 領域是聞所未聞的。
具體來說，CS-3 除了為企業提供 24TB 和 36TB 這兩個版本外，還有面向超算的 120TB 和 1200TB 內存版本。（之前的 CS-2 集群只有 1.5TB 和 12TB 可選）
單個 CS-3 可與單個 1200 TB 內存單元配對使用，這意味著單個 CS-3 機架可以存儲模型參數，比 10000 個節點的 GPU 集群多得多。
除此之外，與使用 GPU 相比，在 Cerebras 平臺上開發所需的代碼量還減少了高達 97%。
更令人震驚的數字是 —— 訓練一個 GPT-3 規模的模型，僅需 565 行代碼！
Playground AI 創始人稱，GPT-3 正穩步成為 AI 領域的新「Hello World」。在 Cerebras 上，一個標準的 GPT-3 規模的模型，只需 565 行代碼即可實現，創下行業新紀錄。
由 G42 和 Cerebras 聯手打造的超級計算機 ——Condor Galaxy，是目前在云端構建 AI 模型最簡單、最快速的解決方案。
它具備超過 16 ExaFLOPs 的 AI 計算能力，能夠在幾小時之內完成對最復雜模型的訓練，這一過程在傳統系統中可能需要數天。
其 MemoryX 系統擁有 TB 級別的內存容量，能夠輕松處理超過 1000 億參數的大模型，大大簡化了大規模訓練的復雜度。
與現有的基于 GPU 的集群系統不同，Condor Galaxy 在處理 GPT 這類大型語言模型，包括 GPT 的不同變體、Falcon 和 Llama 時，展現出了幾乎完美的擴展能力。
這意味著，隨著更多的 CS-3 設備投入使用，模型訓練的時間將按照幾乎完美的比例縮短。
而且，配置一個生成式 AI 模型只需幾分鐘，不再是數月，這一切只需一人便可輕松完成。
在簡化大規模 AI 計算方面，傳統系統因為需要在多個節點之間同步大量處理器而遇到了難題。
而 Cerebras 的全片級計算系統（WSC）則輕松跨越這一障礙 —— 它通過無縫整合各個組件，實現了大規模并行計算，并提供了簡潔的數據并行編程界面。
此前，這兩家公司已經聯手打造了世界上最大的兩臺 AI 超級計算機：Condor Galaxy 1 和 Condor Galaxy 2，綜合性能達到 8exaFLOPs。
G42 集團的首席技術官 Kiril Evtimov 表示：「我們正在建設的下一代 AI 超級計算機 Condor Galaxy 3，具有 8exaFLOPs 的性能，很快將使我們的 AI 計算總產能達到 16exaFLOPs。」
如今，我們即將迎來新一波的創新浪潮，而全球 AI 革命的腳步，也再一次被加快了。
參考資料：
https://www.cerebras.net/
本文來自微信公眾號：新智元 （ID：AI_era）
本文鏈接：http://www.www897cc.com/showinfo-45-3585-0.html4 萬億晶體管 5nm 制程，全球最快 AI 芯片 WSE-3 碾壓 H100：單機可訓 24 萬億參數 LLM，Llama 70B 一天搞定
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號