新周期，誰在堅守窄門？
來源：錦緞今日的投資者恐怕已經忘記了，在OpenAI創造出ChatGPT這一殺器的前夜，生成式AI也曾經是一道窄門，窄到連馬斯克都差點失去了信心。在當時的輿論眼中，AGI的道路不夠性感，不夠
6 月 3 日消息，昆侖萬維今日宣布開源 2 千億稀疏大模型 Skywork-MoE，基于之前昆侖萬維開源的 Skywork-13B 模型中間 checkpoint 擴展而來，號稱是首個完整將 MoE Upcycling 技術應用并落地的開源千億 MoE 大模型，也是首個支持用單臺 RTX4090 服務器（8 張 RTX 4090 顯卡）推理的開源千億 MoE 大模型。
據介紹，本次開源的 Skywork-MoE 模型隸屬于天工 3.0 的研發模型系列，是其中的中檔大小模型（Skywork-MoE-Medium），模型的總參數量為 146B，激活參數量 22B，共有 16 個 Expert，每個 Expert 大小為 13B，每次激活其中的 2 個 Expert。
天工 3.0 還訓練了 75B （Skywork-MoE-Small） 和 400B （Skywork-MoE-Large）兩檔 MoE 模型，并不在此次開源之列。
根據官方測試，在相同的激活參數量 20B（推理計算量）下，Skywork-MoE 能力接近 70B 的 Dense 模型，使得模型的推理成本有近 3 倍的下降。同時 Skywork-MoE 的總參數大小比 DeepSeekV2 的總參數大小要小 1/3，用更小的參數規模做到了相近的能力。
Skywork-MoE 的模型權重、技術報告完全開源，免費商用，無需申請，附鏈接如下：
模型權重下載：
https://huggingface.co/Skywork/Skywork-MoE-base
https://huggingface.co/Skywork/Skywork-MoE-Base-FP8
模型開源倉庫：https://github.com/SkyworkAI/Skywork-MoE
模型技術報告：https://github.com/SkyworkAI/Skywork-MoE/blob/main/skywork-moe-tech-report.pdf
模型推理代碼：（支持 8 x 4090 服務器上 8 bit 量化加載推理）https://github.com/SkyworkAI/vllm
本文鏈接：http://www.www897cc.com/showinfo-45-4513-0.html“全球首創”單臺 RTX 4090 服務器推理，昆侖萬維開源 2 千億稀疏大模型天工 MoE
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號