據媒體報道,中國臺灣新創公司APMIC與語言模型研究社群Twinkle AI達成合作,共同推出了適用于手機端的3B參數繁體中文推理模型,同時還發布了24B和70B參數的更大模型。這些模型通過開源模型結合繁體中文語料,并利用微調和蒸餾技術開發而成。
APMIC成立于2017年,專注于模型微調和語言模型平臺服務,是NVIDIA的獨立軟件供應商。Twinkle AI則是2024年成立的研究社群,主要研究繁體中文語言模型,并已開源評測架構Twinkle Eval。
此次合作的模型基于Meta或Mistral AI的基礎模型,使用了約100B的繁體中文語料,涵蓋新聞、學術論文、法律條文和社會討論等多領域文本。團隊還借助NVIDIA NeMo和Data Curator工具,以及DeepSeek R1 1776模型作為蒸餾技術的基底,完成了通用模型向推理模型的改造。整個開發過程動用了超過200片H100進行預訓練與微調。
APMIC共同創始人兼CEO吳柏翰表示,3B參數的輕量化模型適合手機端應用,預計可在最新款iPhone上運行,主要取決于設備的存儲容量。24B參數模型在計算資源與推理精度之間實現了平衡,適合企業和學術研究;而70B參數模型則進一步提升了推理和語言理解能力,適用于對性能要求更高的專業場景。
此外,雙方還開源了評測架構Twinkle Eval,整合了包括臺灣通識與專業能力混合題庫(TMMLU+)、臺灣法律語料測試集(tw-legal-benchmark-v1)和多任務基準測試集(MMLU)等數據集。團隊指出,傳統評測工具多采用逐題推論方式,但隨著語言模型向“測試時運算拓展”發展,逐題推論限制了評測效率。Twinkle Eval通過平行驗測和工具整合,提升了評測效能,方便企業用戶進行自動化測試。
吳柏翰在近期的NVIDIA GTC大會中觀察到,AI產業分工日益細化,專注于特定領域的深度發展比追求通用領域的廣泛覆蓋更具競爭力。他強調,對于希望進軍國際市場的中國臺灣企業,加強軟硬件結合與專業合作是提升市場差異化的關鍵。
本文鏈接:http://www.www897cc.com/showinfo-27-141885-0.html臺灣新創APMIC與Twinkle AI合作推出繁體中文推理模型
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com
上一篇: 蘋果計劃推出AI健康助手,2026年或上線
下一篇: 英諾賽科贏得國際專利戰,中國GaN產業迎利好
標簽: