線程通訊的三種方法！通俗易懂
線程通信是指多個線程之間通過某種機制進行協調和交互，例如，線程等待和通知機制就是線程通訊的主要手段之一。 在 Java 中，線程等待和通知的實現手段有以下幾種方式：Object 類下
國產大模型，再次迎來新玩家！
XVERSE-13B，開源即免費商用。
來自前騰訊副總裁、騰訊AI lab創始人姚星創立的明星獨角獸元象，公司成立一年即完成1.2億美元融資。
此次開源的大模型，它支持40多種語言、8192上下文長度。在多項中英文測評中，性能超過了同尺寸（130億參數）的LIama2、Baichuan等。
目前，哈爾濱工業大學已經率先用上。
據介紹，XVERSE-13B大模型主要有這幾個方面的特點。
模型架構方面，它是基于標準Transformer架構（Decoder-only），支持8K上下文長度，據稱這也是目前同尺寸標準模型中最長。這樣一來，可滿足更多輪對話，減少遺忘現象，以及輸入更多內容完成復雜任務。
訓練數據上，構建了1.4萬億tokens的數據集，包含中、英、俄、西等40多種語言。
而為了充分利用訓練數據，他們在分詞策略上，基于BPE（Byte-Pair Encoding）算法，使用上百 GB 語料訓練了一個詞表大小為 100,278 的分詞器。
這樣一來，能夠同時支持多語言，而無需額外擴展詞表。
此外，還在訓練框架上進行了算子、通信、并行策略及調度等方面的優化，包括高效算子、顯存優化、并行調度策略、數據-計算-通信重疊、平臺和框架協同等自研技術，使得千卡集群上的峰值算力利用率達到 58.5%，據介紹位居業界前列。
作為通用大模型，它支持文本生成、自動化寫作、數據分析、知識問答、多語言翻譯、個性化交互、人物角色扮演、專業小助手等功能。
具體到各項能力測評上，他們選取了 MMLU（英文）、 C-Eval（中文）、AGIEval（中英） 、GAOKAO-Bench（中英）、GAOKAO-English（英文）等在內的評測集。
比如在MMLU測評中，其綜合評分達到55.1分，在多個維度超過了同參數規模的主流模型。
（MMLU 由加州大學伯克利分校等高校共同打造，集合了科學、工程、數學、人文、社會科學等領域的 57 個科目，主要目標是對模型的英文跨學科專業能力進行深入測評。其內容涵蓋從初級水平到高級專業水平）
還有在C-Eval、AGIEval和GAOKAO-Bench等中文測評中，分別以54.7、41.4以及53.9分超越了其他模型。
目前，XVERSE-13B代碼采用 Apache-2.0 協議，向學術研究完全開源，企業只需簡單登記，即可免費商用。
哈工大已經率先使用大模型推進相關研究工作。哈工大計算機科學與技術學院張偉男教授表示：
開源是互聯網時代主流模式，不僅能貢獻社區，推動技術持續創新，還能利用協同解決算法透明性、穩定性、公眾信任度等共性問題。
隨著XVERSE-13B的發布，國產大模型迎來了新玩家：
元象XVERSE，2021年3月成立，專注于AI與元宇宙技術服務。
創始團隊來自騰訊游戲、Adobe、微軟、IBM、麥肯錫等公司。創始人是前騰訊副總裁姚星，他曾親手創立了騰訊AI lab以及機器人實驗室Robotics X，并兼管騰訊技術工程事業群（TEG）多個技術部門。
他也是騰訊在受AlphaGo震動決定戰略布局AI時的一號位負責人，代表騰訊全球挖人組隊，也代表騰訊喊出了口號：AI in All。在此期間曾主導推出了絕藝、絕悟、云深智藥等行業代表性產品和應用，張潼張正友都曾向他匯報。
2022年3月，元象完成A與A+輪融資1.2億美元，投資機構包括騰訊、高榕資本、五源資本、高瓴創投、紅杉中國、淡馬錫和CPE源峰等。
在3D和AI技術領域，已自主研發出行業領先的“端云協同” 3D互動技術，主打零門檻、一站式、高品質的元宇宙體驗。
目前客戶包括澳門大三巴、騰訊音樂、央視、一汽大眾、阿迪達斯、郵儲銀行等企業。
GitHub鏈接：
https://github.com/xverse-ai/XVERSE-13B
參考鏈接：
https://huggingface.co/xverse/XVERSE-13B
本文鏈接：http://www.www897cc.com/showinfo-26-5181-0.html國產130億參數大模型免費商用！性能超Llama2-13B，支持8k上下文，哈工大已用上
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
上一篇： SpringBoot3基礎用法
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號