日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當前位置:首頁 > 元宇宙 > AI

上海人工智能實驗室發布首個 AI 高考評測結果:語數英總分最高 303 分,數學全部不及格

來源: 責編: 時間:2024-06-22 16:27:51 165觀看
導讀 6 月 20 日消息,上海人工智能實驗室 19 日公布了首個 AI 高考全卷評測結果。據介紹,2024 年全國高考甫一結束,該實驗室旗下司南評測體系 OpenCompass 選取 6 個開源模型及 GPT-4o 進行高考“語數外”全卷能力測

6 月 20 日消息,上海人工智能實驗室 19 日公布了首個 AI 高考全卷評測結果。據介紹,2024 年全國高考甫一結束,該實驗室旗下司南評測體系 OpenCompass 選取 6 個開源模型及 GPT-4o 進行高考“語數外”全卷能力測試。i3l28資訊網——每日最新資訊28at.com

評測采用全國新課標 I 卷,參與評測的所有開源模型開源時間均早于高考,確保評測“閉卷”性。同時,成績由具有高考評卷經驗的教師人工評判,更加接近真實閱卷標準。i3l28資訊網——每日最新資訊28at.com

該機構表示,Qwen2-72B、GPT-4o 及書生?浦語 2.0 文曲星(InternLM2-20B-WQX)成為本次大模型高考的前三甲,得分率均超過 70%。大部分模型“考生”語文、英語科目表現良好,但數學方面仍有很大提升空間。i3l28資訊網——每日最新資訊28at.com

具體來看,InternLM2-20B-WQX 取得了數學單科的最高分,超越包括 GPT-4o 在內的所有模型。i3l28資訊網——每日最新資訊28at.com

注:此次參與“大模型高考”評測的產品包含 GPT-4o 及其他 6 個模型。為公平起見,此次評測沒有納入商用閉源模型。i3l28資訊網——每日最新資訊28at.com

Mixtral 8x22B:法國 AI 創業公司 Mistral 于 2024 年 4 月 17 日開源的對話模型。i3l28資訊網——每日最新資訊28at.com

Yi-1.5-34B:零一萬物公司于 2024 年 5 月 12 日開源的 Yi-1.5 系列最大的模型。i3l28資訊網——每日最新資訊28at.com

GLM-4-9B:智譜 AI 于 2024 年 6 月 4 日推出的最新一代預訓練模型 GLM-4 系列的開源版本。i3l28資訊網——每日最新資訊28at.com

InternLM2-20B-WQX:上海人工智能實驗室于 2024 年 6 月 4 日開源的書生?浦語 2.0 系列文曲星大語言模型。i3l28資訊網——每日最新資訊28at.com

Qwen2-57B:阿里巴巴于 2024 年 6 月 6 日開源的 Qwen2 系列 MoE 對話模型。i3l28資訊網——每日最新資訊28at.com

Qwen2-72B:阿里巴巴于 2024 年 6 月 6 日開源的 72B 稠密模型。i3l28資訊網——每日最新資訊28at.com

語數外三科加起來的滿分為 420 分,此次高考測試結果顯示,阿里通義千問 2-72B 排名第一,為 303 分,OpenAI 的 GPT-4o 排名第二,得分 296 分,上海人工智能實驗室的書生?浦語 2.0 排名第三,三個大模型的得分率均超過 70%。來自法國大模型初創公司的 Mistral 排名末尾,僅拿下 185 分。i3l28資訊網——每日最新資訊28at.com

i3l28資訊網——每日最新資訊28at.com

數學是所有大模型的短板,平均得分率僅有 36%,參與測試的大模型無一及格。i3l28資訊網——每日最新資訊28at.com

i3l28資訊網——每日最新資訊28at.com

此外,閱卷教師也對大模型表現進行了整體分析,為模型能力提升策略提供參考。i3l28資訊網——每日最新資訊28at.com

語文

模型的現代文閱讀理解能力普遍較強,但是不同模型的文言文閱讀理解能力差距較大。i3l28資訊網——每日最新資訊28at.com

大模型作文更像問答題,雖然有針對性但缺乏修飾,幾乎不存在人類考生都會使用舉例論證、引用論證、名人名言和人物素材等手法。i3l28資訊網——每日最新資訊28at.com

多數模型無法理解“本體”“喻體”“暗喻”等語文概念。語言中的一些“潛臺詞”,大模型尚無法完全理解。i3l28資訊網——每日最新資訊28at.com

數學

大模型的主觀題回答相對凌亂,且過程具有迷惑性,甚至出現過程錯誤但得到正確答案的情況。i3l28資訊網——每日最新資訊28at.com

大模型的公式記憶能力較強,但是無法在解題過程中靈活引用。i3l28資訊網——每日最新資訊28at.com

英語

英語整體表現良好,但部分模型由于不適應題型,在七選五、完形填空等題型得分率較低。i3l28資訊網——每日最新資訊28at.com

大模型英語作文普遍存在因超出字數限制而扣分的情況,而人類考生多因為字數不夠扣分。i3l28資訊網——每日最新資訊28at.com

本文鏈接:http://www.www897cc.com/showinfo-45-4723-0.html上海人工智能實驗室發布首個 AI 高考評測結果:語數英總分最高 303 分,數學全部不及格

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: B站開源輕量級 Index-1.9B 系列模型:2.8T 訓練數據,支持角色扮演

下一篇: 振興鄉村發展 助力青少年教育 中國三星連續十一年蟬聯企業社會責任榜外企第一

標簽:
  • 熱門焦點
Top 主站蜘蛛池模板: 保康县| 泸定县| 仁布县| 平定县| 资源县| 玉屏| 渭南市| 武功县| 青铜峡市| 图木舒克市| 南漳县| 库尔勒市| 津市市| 阜南县| 华池县| 西华县| 沙田区| 保德县| 防城港市| 林口县| 长沙市| 泽普县| 微山县| 武汉市| 浮梁县| 怀集县| 平塘县| 图木舒克市| 友谊县| 上杭县| 天长市| 乐平市| 星子县| 澄城县| 财经| 百色市| 常宁市| 大理市| 从化市| 阿鲁科尔沁旗| 泉州市|