2023年，我眼中的字節跳動
此時此刻（2023年7月），字節跳動從未上市，也從未公布過任何官方的上市計劃；但是這并不妨礙它成為中國最受關注的互聯網公司之一。從2016-17年的抖音強勢崛起，到2018年的“頭騰
7 月 10 日消息，中文大模型測評基準 SuperCLUE 發布 2024 上半年報告，披露針對國內外 33 個大模型的綜合測評結果。阿里通義千問的開源模型 Qwen2-72B 成為排名第一的中國大模型，也是全球最強的開源模型，SuperCLUE 報告認為通義千問“超過眾多國內外閉源模型”，“引領全球的開源生態”。
CLUE（The Chinese Language Understanding Evaluation）是發起于 2019 年的中文語言理解測評基準，致力于開展科學、客觀、中立的語言模型評測，SuperCLUE 聚焦于通用大模型的綜合性測評。
本次半年度測評針對國內外 33 個大模型的 6 月份版本進行，由理科、文科和 Hard 三大維度構成。理科任務包括計算、邏輯推理、代碼測評；文科任務分為知識百科、語言理解、長文本、角色扮演、生成與創作、安全和工具使用七大測評；Hard 任務主要是精確指令遵循測評，未來還將推出復雜多步推理和高難度問題解決等測評。
圖說：SuperCLUE 國際最好模型（GPT-4o）與國內最好模型（Qwen2-72）的整體性能對比
從代表通用能力的一級總分來看，OpenAI 的 GPT-4o 以 81 分高居榜首，Claude-3.5-Sonnet 與通義千問開源模型 Qwen2-72B-Instruct 并列第二，得分均為 77。通義千問既是排名最高的中國大模型，也是排名最高的開源大模型，性能超越文心一言 4.0、訊飛星火 V4.0、Llama-3-70B 等開閉源大模型。
具體到理科、文科、Hard 三個維度來看，國內外大模型的理科能力存在一定差距，GPT-4o 以絕對優勢領跑，Qwen2-72B 的理科測試比 GPT-4o 少 5 分；文科任務上，大模型之間的區分度不明顯，GPT-4o 與 Qwen2-72B 等模型的得分均為 76；精確指令遵循能力方面，僅有 GPT-4o 和 Claude 3.5 Sonnet 得分超過 80，國內表現最好的 Qwen2-72B 比 GPT-4o 低 6 分。
報告同時公布了端側小模型測評榜單，通義千問 70 億參數開源模型 Qwen2-7B 排名第一，打敗了上一代版本的 Qwen1.5-32B（320 億參數）和 Llama-3-8B-Instruct（130 億參數），展現了更小尺寸的模型的極致性能。報告認為，2024 年上半年端側小模型進展迅速、表現驚艷，極大提升了落地的可行性。
據悉，Qwen2 是阿里在今年 6 月推出的通義千問第二代開源模型，已先后登頂國內外多個權威榜單，引領中國開源模型強勢崛起。Qwen 系列開源模型下載量已經突破 2000 萬次。SuperCLUE 報告點評：“綜合來看，Qwen2-72B 整體能力不俗，引領全球的開源生態，是一個非常有競爭力的通用開源大模型，可應用于推理、數理分析、信息處理或相對專業復雜場景，重點推薦應用于工業、金融、醫療、汽車等垂直專業場景。”
附：
?SuperCLUE 官方推文鏈接
?《中文大模型基準評測 2024 上半年報告》原文鏈接：
www.cluebenchmarks.com/superclue_24h1
本文鏈接：http://www.www897cc.com/showinfo-26-100065-0.html中文大模型 2024 半年報出爐，通義千問通用能力國內第一
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號