K6：面向開發(fā)人員的現(xiàn)代負載測試工具
K6 是一個開源負載測試工具，可以輕松編寫、運行和分析性能測試。它建立在 Go 和 JavaScript 之上，它被設(shè)計為功能強大、可擴展且易于使用。k6 可用于測試各種應(yīng)用程序，包括 Web
說實話，有點受不了這些公司，老是半夜丟個大的了。
尤其點名 OpenAI ，這回又毫無預(yù)告地發(fā)布了那個大家惦記了很久的新模型。
之前說什么草莓不草莓的，一張草莓的照片遛了大家好幾天
結(jié)果，這回新模型根本跟草莓毛關(guān)系沒有，而是起了一個全新的名字OpenAI o1 模型。
這玩意已經(jīng)號稱 openAI 的天頂星科技，奧特曼直接發(fā)帖明說了，這就是他們到現(xiàn)在為止強、一致的模型。
跟往次不同的是，這玩意到底多牛 OpenAI 實際也沒多吹，但是輕飄飄甩出了幾張圖，就有點讓人頭皮微麻。
像下面的圖里，三個測試項目的結(jié)果就能說明了，分別是國際數(shù)學(xué)奧林匹克競賽、編程競賽還有博士級別的科學(xué)問題。
這里面左邊為 GPT-4o ，中間是目前已經(jīng)開放了的預(yù)覽版 o1 ，右邊高高的紅色柱子為滿血 o1 。
你瞅瞅，基本每一項， o1 比起自己的前輩來說，都是接近 8 倍的提升。
要是把這些測試結(jié)果拆開來，這新 o1 也幾乎是在各種學(xué)科、各種領(lǐng)域，都全量、全面、全方位地超越 4o 。
真正可怕的是， OpenAI 說自己專門請了博士專家一起答題。
結(jié)果在博士級別的測試結(jié)果上，我們看到 o1 答題分數(shù)均超過了博士專家。o1 得分 78 ，人類得分 69.7 。
連博士都輸了，那我和它比算什么？
敏感的網(wǎng)友們，直接就炸了呀，又開始喊著，新的神已經(jīng)出現(xiàn)。
隨便一翻，都是帶著【 】字的超高評價，什么 “ 簡直太棒了！ ” 、 “ 接近人類推理的東西 ” 。
甚至有不少差友跑到咱們后臺，感慨 o1 你小子確實有點東西啊。
聽起來是不是很牛逼？OpenAI 他們自己很顯然也是這么覺著的。
具體 OpenAI 在它上面花了多少錢還沒公布，但從用戶使用上，就能明顯看到這玩意多耗錢了。
o1 預(yù)覽版每百萬輸入 15 美元，每百萬輸出 60 美元
這次對用戶開放的甚至不是滿血版本，就是一個早期的預(yù)覽版和一個小型閹割版。
哪怕只是搶先嘗鮮，不僅不免費，哪怕你掏錢開了會員，也卡你問答次數(shù)。
預(yù)覽版每周只有 30 條， mini 每周只有 50 條。
雖然有點貴，但我們肯定不可能讓 OpenAI 吹什么就是什么。
他們不是說超過博士了嗎？我就沖了幾個賬號，去找了幾個博士來親測了一下。
為了保證專業(yè)性和客觀性，我們專門邀請了理綜三科的博士參與測評，有生物學(xué)、固體物理學(xué)、材料化學(xué)等等。
其中，南京大學(xué)在讀的固體物理學(xué)崔博士給出的評價，算是幾個人里高的。他覺得 o1 已經(jīng)達到了 60 - 80 分（ 滿分 100 ）的水平。
甚至，部分回答也可以給到 90 分。
崔博士給的第一個問題：遠距離糾纏光子分發(fā)，有什么克服白噪聲的辦法？
大概 9 秒鐘左右， o1 就給出了 10 點可行的措施。
當(dāng)然了，沒一個點是我看得明白的。
不過，崔博士的評價還可以：答案列舉全面，符合現(xiàn)有的新研究進展，屬于科普級別的答案。
其中，提到的自適應(yīng)光學(xué)的方向甚至是今年新的 science 成果。
和老版 4o 一比，馬上高下立判了。
就別說新方向提沒提到，光是給出的措施數(shù)量上，就差了不少。
于是后面，我們就專門對自適應(yīng)光學(xué)這個船新方向進行了追問：利用了量子糾纏的什么原理來提高信噪比？能否拓展到量子自適應(yīng)光學(xué)？
幾輪答案之后，崔博士給出了 80 - 90 分的高分，還大方地和我承認，部分思考是他的薄弱點，對他的方向有提示作用。
不過，后續(xù)我們再深入追問之后，它問題就暴露出來了。
當(dāng)追問到更難的實驗細節(jié)部分， o1 的回答效果就會降低。
但總體來說，在物理方面， o1 的表現(xiàn)算是不錯的。和老版比下來，提升基本在 20 分左右。
不過，在 OpenAI 的測試里，物理本來就是分數(shù)高的。
所以我們又拉來一位北大在讀材料化學(xué)的 K 博士，想對它評分低的化學(xué)，來幾個狠問題。
K 博士圍繞Fe-N4 問了一系列的問題， o1 給了很長的一串回答，為了精簡篇幅我們這里只展示了部分問題和結(jié)果。
整體測試之后， K 博士給出的評價也差不多：可能有研究生水平，但是深入的認知和給方案的能力，比較虛，主要還是針對已知內(nèi)容作答。
比如問到如何調(diào)節(jié) Fe-N4 ， o1 可以說出基于電子態(tài)調(diào)節(jié)，但你要是問它那該咋調(diào)節(jié)，它就有點卡殼了。
雖然相比 gpt4o 沒那么胡說八道，但具體的問題上他倆都給不了太多建議，老版是喪失細節(jié)亂說，新版能力有限就會詞窮。
除了這倆，理綜三科那肯定也少不了生物。
我們還咨詢了來自清華，在讀生物學(xué)的信博士，他的問題是： “ 如何從質(zhì)譜數(shù)據(jù)集中區(qū)分賴氨酸殘基的乳酰化和羧乙基修飾？ ”
雖然我聽不懂，但是 o1 也給了一段非常長的回答，跟論文綜述似的，后面還貼了參考文獻。
但出乎意料的是，當(dāng)我們把這個回答交給信博士，人家看完就發(fā)現(xiàn)不對路了，而且是一眼丁真的問題。
倒不是這 AI 回答的全錯，而是 AI 在參考文獻里亂編，這論文壓根不存在！
雖然編了，但也沒完全編，總體來說人家清華博士還是覺得比之前的 AI 能強不少，起碼理解能力是肉眼可見了，編也編的很像。
不過，不同方向的博士評價有所區(qū)別，這或許也跟 o1 自己擅長的領(lǐng)域有關(guān)。
拿官方給出的理綜分數(shù)來看，雖然 gpt4o 在生物學(xué)上的評分要比化學(xué)和物理高，但這回的 o1 就完全不一樣。
o1 在物理上的分數(shù)達到了 92.8 ，已經(jīng)遠超其他兩門學(xué)科，這或許就是崔博士對它比較看好的原因。
總體而言，真要說到超越專業(yè)博士水平，博士們認為還得緩緩。
崔博士直言，在現(xiàn)實科研工作中，多數(shù)情況學(xué)者們都還得自己動手， AI 只能提供大致方向，因此花錢要這樣的細致 AI 意義不大。
他更推薦本科生選擇這個 AI ，要是碩博階段，那這個 AI 的回答其實并不符合導(dǎo)師標(biāo)準(zhǔn)，組會上肯定要挨批。
清華的信博士也同樣持這種看法，且不說 AI 的幻覺編造文獻問題，就專業(yè)程度而言， AI 的回答也只能糊弄大同行，也就是同一大學(xué)科里面方向不同的人群；而在小同行，專業(yè)研究這個方向的人眼里， AI 的毛病還是非常明顯的。
北大 K 博士則談的更深入，他認為這個 AI 只能說在認知上有了碩士生的水平，但也只是作為一個縫補匠，談不上說出什么創(chuàng)造性的成果。就創(chuàng)造性這一點來說， AI 是遠遠比不上碩博的水平的，這也是 AI 需要解決的重要問題。
在博士們的評價里，我們似乎能抓到一個重點：o1 模型之所以相對更強，是因為他有了更高維的認知和思考模式。
這，也是 o1 本次更新的要點。我們在 OpenAI 官網(wǎng)找到了 Learning to Reason with LLMs 這篇文章，他們在文中表示，主要是他們用上了長思維鏈 ( CoT ， Chain of thought ) ，而不是傳統(tǒng)的提示鏈（ Prompt chain ）。
第一眼看上去有點懵，說人話就是，這個大模型改變了以往那種你問我答的思考方式。
在以前的模式下，大模型的問答就跟下意識出答案一樣，比如你問我天是啥顏色，這問題我想都不想，秒答藍色。這實際上需要我本來就知道這個知識點，然后給你直接反應(yīng)就完了。
但這個長思維鏈就相當(dāng)于，我不僅要知道藍色是個啥，還能自己推一遍為啥是藍色，什么大氣散射，光譜波長都要考慮進去。
這就需要 AI 得有實打?qū)嵉臉?gòu)建邏輯，推理論證的能力，換句話說，他不僅要長腦子，還要動腦子。
盡管思維鏈這個概念是 2022 年谷歌提出來的，但 OpenAI 這次是第一個實現(xiàn)的。
實操過程中，現(xiàn)在你與 o1 模型對話，除了收獲答案，還可以看選擇展開看他解答問題時的思維邏輯，他的思考是具象化的而不是黑盒。
比如我們拿崔博士提問的 “ 遠距離糾纏光子分發(fā)，有什么克服白噪聲的辦法？ ” 這一問題為例， o1 模型的思考過程如下：
不過，就像專業(yè)領(lǐng)域的問題它也會翻車一樣，有些日常場景的簡單題似乎也有可能難住它。
拿之前那個經(jīng)典 9.11 和 9.8 比大小例子來說，小紅書網(wǎng)友 @ 小水剛醒 就發(fā)現(xiàn)這玩意 “ 一上難度就崩潰……無限循環(huán)發(fā)瘋般推思維鏈（ CoT ） ”
我們編輯部自己評測時也發(fā)現(xiàn)了這個問題，不過當(dāng)詢問它為什么的時候，它也會馬上反應(yīng)過來自己推理出現(xiàn)了錯誤，然后再重新推導(dǎo)一番。
好好好，不愧是博士，善于發(fā)現(xiàn)錯誤是吧。
整輪測試下來，不得不承認，它確實是大大提升了。士別三日，也的確應(yīng)當(dāng)刮目相看。
在效果上，也確實相比前代確實更好，而且長思維的應(yīng)用，對未來 AI 發(fā)展都是好事。
但在幾位博士輪番鞭打完以后，它的問題也暴露得挺明顯的，在創(chuàng)造力等某些方面，還替代不了人類博士專家。
不過 OpenAI 的研究人員 Noam Brown 透露，未來版本的 o1 將會思考幾個小時、幾天甚至幾周，雖然這樣燒錢會更多，但像在研發(fā)抗癌藥這些任務(wù)上，這種花費也是值得的。
另外，差評君覺得 GPT o1 實現(xiàn)的思維鏈模式，也很有可能會像之前的 Transformer 架構(gòu)、 DiT 架構(gòu)那樣，又會引領(lǐng)全世界的大模型的方向。
所以說，通往 AGI 之路說近不近，但說遠也不遠，期待接下來各家的選手輪番登場了。
本文鏈接：http://www.www897cc.com/showinfo-17-113881-0.htmlOpenAI新模型媲美博士？我找清北博士品鑒了一下：醒醒吧
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號