內(nèi)容行業(yè)大變天，爆款全靠AI？
出品 | 微果醬（wjam123456）作者 | 陳出木題圖 | 文心一格 AI的發(fā)展之快出乎所有人的預(yù)料，似乎一夜之間便呼嘯而來。無論是資本的風(fēng)向標(biāo)，抑或是生活工作的輔助、流量口，還是茶余飯
眼下，全國各地的高考成績陸續(xù)出爐，各種關(guān)于考生考了多少分的新聞也在不斷登上頭條。
而最近，有一批特殊考生的成績也出爐了，他們就是由各家 AI 大模型組成的“考試天團”。
大模型考上文科本科，豆包拿下國產(chǎn) AI 最高分6 月 24 日，在極客公園最新發(fā)布的高考新課標(biāo) Ⅰ 卷大模型評測報告中，GPT-4o 以 562 分排名文科總分第一。國內(nèi)產(chǎn)品中，字節(jié)跳動旗下的豆包拔得頭籌，成績是 542.5 分。
再往后，依次是百度文心一言 4.0 的 537.5 分、百川智能“百小應(yīng)”的 521 分。本次大模型高考評測與河南省考卷完全相同，河南高考錄取分?jǐn)?shù)線顯示，文科本科一批錄取分?jǐn)?shù)線為 521 分，豆包等三款國產(chǎn) AI 成功沖上一本線。
我們知道，當(dāng)前生成式 AI 大模型技術(shù)正處于商用普及的初期，小到每個人的工作、生活，大到千行百業(yè)的生產(chǎn)、創(chuàng)作，都在逐漸受到來自 AI 大模型技術(shù)的賦能。
但同時我們也應(yīng)該看到，生成式 AI 尚處于發(fā)展初級階段，AI 是否足夠“聰明”，仍然是影響相關(guān)技術(shù)和產(chǎn)品體驗的基本要素。
所以，用高考題來測試 AI 大模型，確實不失為一個有趣又直觀的評判大模型能力的方式。
下面讓我們具體看看不同大模型在面對高考試卷時的表現(xiàn)。
語言能力是優(yōu)勢，豆包大模型作文獲好評具體來看這次高考卷大模型評測的詳細(xì)情況。首先，語文、英語的語言類考試，是大模型有能力和人類考生較量的賽場，多家產(chǎn)品能拿到客觀題目的滿分或接近滿分。
憑借中文語言的“主場優(yōu)勢”，三款國產(chǎn)大模型產(chǎn)品獲得了語文考試前三名，分別是百小應(yīng)、字節(jié)豆包和騰訊元寶，得分依次為 128 分、125.5 分和 120.5 分。除了少數(shù)開放性的閱讀理解和語言文字運用問題，各家大模型主要丟分在語文寫作上。
作為本次評測的語文作文閱卷人，北京市級骨干教師、懷柔區(qū)語文學(xué)科帶頭人夏老師曾多次參加全國高考語文閱卷。
夏老師認(rèn)為：“Al 寫出的文章大多有清晰完整的結(jié)構(gòu)，有邏輯性，語言通順流暢。但其理性有余，感性不足，缺乏感情色彩，自然就缺乏感染力。”
不過這其中，豆包大模型的作文在匿名閱卷中，獲得閱卷老師的好評：
文章中顯出的對就業(yè)結(jié)構(gòu)、倫理方面的擔(dān)心，展現(xiàn)出豆包已經(jīng)具有不錯的思想深度和思辨能力。在立住“問題”后，豆包隨即用反問句自然過渡，引出三個排比段提出解決問題的方法 —— 保持“問題意識”。其中用發(fā)展的眼光分析問題，結(jié)合現(xiàn)實生活揭示問題產(chǎn)生的根源和危害的部分頗為亮點，并且整體上“結(jié)構(gòu)嚴(yán)謹(jǐn)，層層推進，語句流暢，認(rèn)識全面”。
英語寫作同樣是大模型的一大難題。本次評測默認(rèn)所有大模型的聽力都獲得 30 分滿分。在閱讀和語言運用兩大項客觀問題的考試上，GPT-4o、百小應(yīng)、通義千問獲得 80 分滿分，豆包和文心一言 4.0 也接近滿分。
但是在 40 分的寫作考試中，最高分只有 29 分，分別由 GPT-4o 和百小應(yīng)獲得，各家模型的英語寫作主要丟分在表達(dá)空泛、缺少細(xì)節(jié)上。如果大模型在未來能夠提升寫作能力，獲得高考滿分并非難事。
在由歷史、地理、政治組成的新課標(biāo)文綜考卷評測中，GPT-4o 獲得 237 分的成績，平均分達(dá)到 79 分，優(yōu)于多數(shù)人類考生。國產(chǎn)大模型產(chǎn)品中，豆包的文綜成績最高，分?jǐn)?shù)達(dá)到 224.5 分，其中歷史科目拿到 82.5 分，在所有 9 款大模型中得分第一。
政治考試中，GPT-4o 出人意料的獲得了 88 分的最高分，百小應(yīng)和豆包得分超過 80。地理考卷則有大量圖片問題，對一眾大模型是不小的挑戰(zhàn)，圖像理解能力較強的 GPT-4o 得到最高分，但僅有 68 分。
河南高考分?jǐn)?shù)段統(tǒng)計數(shù)據(jù)顯示，GPT-4o 的 562 分在文科考生中排名 8811 名，相當(dāng)于人類考生的前 2.45%。而僅次于 GPT-4o、位列國產(chǎn) AI 第一名的豆包大模型文科成績 542.5 分，超過文科一本線 20 分，處于前 4.27% 的位置。
由此可見，在過去一年多時間里，國產(chǎn) AI 技術(shù)能力獲得了長足進步，目前已經(jīng)接近國際頂尖大模型的水平。
理科考試成績有待提高，AI 并非全能與人類頂尖考生相比，大模型在數(shù)學(xué)、物理、化學(xué)等數(shù)理學(xué)科上差距極大，包括 GPT-4o 在內(nèi)的所有大模型都無法達(dá)到及格水平。盡管在語文、英語兩科上能獲得高分，大模型的理科最好成績還無法進入人類考生的前 30%。
以數(shù)學(xué)試卷為例，9 款大模型產(chǎn)品中，僅 GPT-4o、文心一言 4.0 和豆包獲得 60 分以上成績（滿分 150 分），目前的大模型只能正確推理步驟相對簡單的問題。
據(jù)測試機構(gòu)透露，豆包等大模型能準(zhǔn)確運用求導(dǎo)公式和三角函數(shù)定理，但是面對較為復(fù)雜的推導(dǎo)和證明問題就很難繼續(xù)得分。
重點考查實驗探究能力的化學(xué)和物理試卷，各模型平均分更是只有 34 分和 39 分（滿分為 100 和 110）。化學(xué)單項最高分由豆包獲得，成績?yōu)?49.5 分，GPT-4o 僅有 42 分。
大模型在應(yīng)對考試的靈活性上也不如人類。例如物理有一道送分題，人類考生根據(jù)“時間不會倒流”可以排除錯誤選項，輕易選對正確答案“C”，大模型則幾乎全軍覆沒。
要學(xué)會像人類一樣思考和解決問題，大模型還有很長的路要走。
不過，據(jù)麥肯錫報告分析，大模型的價值創(chuàng)造潛力驚人，到 2030 年，有望在全球推動 49 萬億人民幣的經(jīng)濟增量。
而目前，從技術(shù)創(chuàng)新到商業(yè)落地，大模型已經(jīng)開始在為我們的日常工作生活和各行業(yè)的 AI 轉(zhuǎn)型提供動能。
雖然生成式 AI 目前確實還有不足，路漫漫其修遠(yuǎn)，但相信在以豆包大模型為代表的眾多生成式 AI 技術(shù)和產(chǎn)品的共同發(fā)展和努力下，未來簡單的高考試卷對于它們來說將不再是挑戰(zhàn)，更廣泛的應(yīng)用場景唱，給出更加完美的答卷。
本文鏈接：http://www.www897cc.com/showinfo-45-4833-0.html大模型 2024 高考發(fā)榜，豆包等三款國產(chǎn) AI 考上文科一本線
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
上一篇： 華為聯(lián)合清華大學(xué)發(fā)布《AI 終端白皮書》：生成式 AI 時代終端的未來路在何方？
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號