谷歌憋了許久的大招,雙子座Gemini大模型終于發(fā)布!其中一視頻引人注目:
,MMLU多任務(wù)語(yǔ)言理解數(shù)據(jù)集測(cè)試,Gemini Ultra不光超越GPT-4,甚至超越了人類專家。
AI實(shí)時(shí)對(duì)人類的涂鴉和手勢(shì)動(dòng)作給出評(píng)論和吐槽,流暢還很幽默,接近賈維斯的一集。
然鵝當(dāng)大家從驚喜中冷靜下來(lái),仔細(xì)閱讀隨之發(fā)布的60頁(yè)技術(shù)報(bào)告時(shí),卻發(fā)現(xiàn)不妥之處。
(沒(méi)錯(cuò),沒(méi)有論文,OpenAICloseAI你開(kāi)了個(gè)什么壞頭?。?span style="display:none">weG28資訊網(wǎng)——每日最新資訊28at.com
MMLU測(cè)試中,Gemini結(jié)果下面灰色小字標(biāo)稱CoT@32,展開(kāi)來(lái)代表使用了思維鏈提示技巧、嘗試了32次選好結(jié)果。
而作為對(duì)比的GPT-4,卻是無(wú)提示詞技巧、只嘗試5次,這個(gè)標(biāo)準(zhǔn)下Gemini Ultra其實(shí)并不如GPT-4。
以及原圖比例尺也有點(diǎn)不厚道了,90.0%與人類基準(zhǔn)89.8%明明只差一點(diǎn),y軸上卻拉開(kāi)很遠(yuǎn)。
HuggingFace技術(shù)主管Philipp Schmid用技術(shù)報(bào)告中披露的數(shù)據(jù)修復(fù)了這張圖,這樣展示更公平恰當(dāng):
每到這種時(shí)候,總少不了做表情包的老哥飛速趕到戰(zhàn)場(chǎng):
但好在,同樣使用思維鏈提示技巧+32次嘗試的標(biāo)準(zhǔn)時(shí),Gemini Ultra還是確實(shí)超越了GPT-4的。
Jeff Dean在一處討論中對(duì)這個(gè)質(zhì)疑有所回應(yīng),不過(guò)大家并不買(mǎi)賬。
另外,對(duì)于那段精彩視頻,也有人從開(kāi)篇的文字免責(zé)聲明中發(fā)現(xiàn)了問(wèn)題。
機(jī)器學(xué)習(xí)講師Santiago Valdarrama認(rèn)為聲明可能暗示了展示的是精心挑選的好結(jié)果,而且不是實(shí)時(shí)錄制而是剪輯的。
后來(lái)谷歌在一篇博客文章中解釋了多模態(tài)交互過(guò)程,幾乎承認(rèn)了使用靜態(tài)圖片和多段提示詞拼湊,才能達(dá)成這樣的效果。
但不管怎么樣,谷歌Gemini的發(fā)布還是給了其他團(tuán)隊(duì)很大信心,GPT-4從此不再是獨(dú)一無(wú)二、難以企及的存在了。
正如AI搜索產(chǎn)品PerplexityAI創(chuàng)始人Aravind Srinivas總結(jié):
1、Gemini證明了OpenAI之外的團(tuán)隊(duì)可以搞出超越GPT-4的模型
2、訓(xùn)練到位的密集模型可以超越GPT-4的稀疏模型架構(gòu)
推論:從大教師模型蒸餾小尺寸密集模型會(huì)成為未來(lái)趨勢(shì),實(shí)現(xiàn)效率和能力的佳結(jié)合。
更多網(wǎng)友關(guān)心的話題是,這下子還有必要繼續(xù)為ChatGPT Plus付費(fèi)每月20美元嗎??
目前,Gemini Pro版本已更新到谷歌聊天機(jī)器人Bard中,水平到底有沒(méi)有宣傳的好,可以看看實(shí)際情況。
Gemini真的超越ChatGPT?
首先明確一點(diǎn),目前大家能上手玩到的是Gemini Pro版本,也就是中杯,對(duì)標(biāo)GPT-3.5。
對(duì)標(biāo)GPT-4的大杯Gemini Ultra,要明年才出。
另外目前Gemini僅支持英文,中文和其他語(yǔ)言也是后面才會(huì)出。
雖然暫時(shí)玩不到Gemini Ultra,威斯康星大學(xué)麥迪遜分校的副教授Dimitris Papailiopoulos找了個(gè)好辦法:
把Gemini發(fā)布時(shí)展示的原題發(fā)給GPT-4對(duì)比,結(jié)果14道題中,GPT-4約獲得12分。
其中有兩題由于截圖沒(méi)法再清晰了,給GPT-4算0.5分。
還有一道數(shù)學(xué)題GPT-4做錯(cuò),其他題基本平手。
接下來(lái),要說(shuō)能體現(xiàn)一個(gè)大模型綜合能力的,肯定少不了寫(xiě)代碼。
根據(jù)大家的測(cè)試結(jié)果來(lái)看,Gemini編程水平還是有保證的。
有開(kāi)發(fā)者測(cè)試用Pytorch實(shí)現(xiàn)一個(gè)簡(jiǎn)單的CNN網(wǎng)絡(luò),Gemini只用了2秒而且代碼質(zhì)量更高。
當(dāng)然速度快可能是由于Bard搭載的Gemini Pro尺寸更小,GPT-4現(xiàn)在有多慢懂得都懂了。
但是下一項(xiàng)編寫(xiě)SQL語(yǔ)句方面,這位開(kāi)發(fā)者就認(rèn)為Gemini表現(xiàn)就不太行了。
不過(guò)對(duì)于廣大開(kāi)發(fā)者來(lái)說(shuō)還有一個(gè)利好消息,在遵循指令方面,Gemini對(duì)比Bard升級(jí)之前可謂是史詩(shī)級(jí)進(jìn)步。
提示工程師先驅(qū)Riley Goodside,此前想要Bard輸出純JSON格式前后不帶任何廢話,百般嘗試也不成功,后需要假裝威脅AI不這么做就鯊個(gè)無(wú)辜的人才行。
現(xiàn)在更新以后,只需要把要求說(shuō)出來(lái),無(wú)需任何提示詞技巧就能完成了。
Gemini還有一大賣(mài)點(diǎn)是多模態(tài)能力,針對(duì)開(kāi)頭畫(huà)小鴨子的視頻,我們從中抽取了8個(gè)關(guān)鍵幀,分別進(jìn)行提問(wèn),看看Gemini的表現(xiàn)有沒(méi)有那么神奇。
(不確定視頻中是Ultra還是Pro版本,現(xiàn)在只能測(cè)試Pro版本)
對(duì)于圖1-4,我們問(wèn)的問(wèn)題都是“What is this person doing?”,Gemini給出的回答分別是:
可能在用馬克筆寫(xiě)字,但不知道具體是什么
在用鉛筆畫(huà)蛇,而且是一條眼鏡蛇
在用鉛筆畫(huà)烏龜,而且正處于畫(huà)畫(huà)的初期階段
在用黑色馬克筆畫(huà)鳥(niǎo),臉朝左,頭朝右,站在樹(shù)枝上,翅膀沒(méi)有展開(kāi)
對(duì)于圖1和圖2,的確判斷線索還不是很明顯,出現(xiàn)這樣的結(jié)果情有可原,不過(guò)圖3這個(gè)“烏龜”的答案就有些繃不住了。
至于圖4,至少可以肯定的是鴨子的確屬于鳥(niǎo)類,但是其它細(xì)節(jié)分析得還是欠缺了一些準(zhǔn)確性。
而當(dāng)我們拿出圖5的成型作品時(shí),Gemini終于分析出了這是一只鴨子,水波紋也分析對(duì)了。
但分析出的繪畫(huà)工具變成了鉛筆,頭的朝向問(wèn)題也依然沒(méi)說(shuō)對(duì),喙被說(shuō)成了張開(kāi)的,還臆想出了一些蘆葦。
接下來(lái)是圖6和圖7的上色過(guò)程,一般情況下鴨子不會(huì)是藍(lán)色,所以我們問(wèn)了Gemini圖片中有什么異常(Is there anything abnormal?)。
針對(duì)圖6,Gemini給出的回答不能說(shuō)十分精準(zhǔn),只能說(shuō)是驢唇不對(duì)馬嘴,還配上了一張風(fēng)馬牛不相及的圖片。
針對(duì)圖7的成品,Gemini直接說(shuō)沒(méi)毛病,該有的東西都有,背景也很真實(shí),甚至沒(méi)忘繼續(xù)提根本不知道哪里來(lái)的蘆葦。
但下面的一句“Here is the image you sent”就屬實(shí)令人費(fèi)解了:
說(shuō)Gemini沒(méi)看我們上傳的圖吧,讀出來(lái)的又的確是鴨子;說(shuō)它看了吧,又給出了完全不同的一張的圖說(shuō)是我們傳上去的。
所以我們想到了用“深呼吸”和“一步一步解決”提示詞技巧看看能不能提高一下Gemini的表現(xiàn),其中深呼吸正是適用于谷歌上一代大模型PaLM的提示詞。
結(jié)果這次的答案直接讓人笑出了聲:
不正常的是,鴨子被畫(huà)到了紙上,鴨子是一種活的生物,在紙上是無(wú)法存在的……
視頻的結(jié)尾,博主還拿出了橡膠鴨子玩具,我們也拿這一幀(圖8)讓Gemini分析一下鴨子的材質(zhì)。
結(jié)果橡膠倒是分析對(duì)了,但是藍(lán)色的鴨子被說(shuō)成了黃色,難怪上一張圖會(huì)說(shuō)沒(méi)有異常……
逐幀詢問(wèn)完成后,我們又把8張圖放在一起詢問(wèn),結(jié)果也是只有鴨子說(shuō)對(duì)了。
“打假”完這段視頻后,我們又用之前拿來(lái)考察GPT-4V的“吉娃娃和松餅”圖給Gemini試了試。
結(jié)果Gemin直接擺爛,告訴我們所有的圖都是“吉娃娃坐在松餅上”,甚至連圖的數(shù)量都沒(méi)數(shù)對(duì)……
于是我們換了種問(wèn)法,讓它告訴我們哪些是吉娃娃,哪些是松餅。
這次Gemini倒是誠(chéng)實(shí)的很,直接告訴我們吉娃娃和松餅實(shí)在太像了自己區(qū)分不出來(lái)。
和藍(lán)色鴨子的問(wèn)題一樣,“深呼吸”在這里依然是沒(méi)起到什么作用,Gemini還是連數(shù)量都搞不清楚。
而勉強(qiáng)解說(shuō)了的8個(gè)(實(shí)際上是6個(gè),因?yàn)橛袃蓚€(gè)是重復(fù)的)圖,只有左下和右下兩張圖是對(duì)的,至于middle指的到底是哪一行,我們不得而知……
或許是這樣細(xì)小的差別實(shí)在是難為Gemini了,我們接下來(lái)?yè)Q一些圖形推理題試試。
第一題的前四個(gè)符號(hào)是由1-4這四個(gè)數(shù)字與鏡像后的結(jié)果拼接而成,所以下一個(gè)圖應(yīng)該是5與其鏡像拼接,答案是C。(藍(lán)色塊是為了方便觀察,傳給Gemini的圖中沒(méi)有)
這里一開(kāi)始還出現(xiàn)了一段小插曲:開(kāi)始的提示詞中是沒(méi)有后一句話(注意字母不是符號(hào)本身)的,結(jié)果Gemini真的就把ABCD這四個(gè)字母當(dāng)成了備選的符號(hào)。
調(diào)整之后,Gemini前面給出的分析基本正確,可惜到后選擇了錯(cuò)誤選項(xiàng)D。
第二題,每個(gè)框中的第三個(gè)符號(hào)是前兩個(gè)的交集,答案為A。
結(jié)果Gemini研究起了這些表情,一番分析猛如虎,后給出的答案還是錯(cuò)的。
兩道題下來(lái),一道對(duì)了百分之七八十,另一道完全錯(cuò)誤,看來(lái)Gemini Pro的圖形推理能力還有很大提升空間。
不過(guò)如果把目光放到生活場(chǎng)景當(dāng)中,Gemini的表現(xiàn)還是值得肯定的。
我們用ChatGPT(DALL·E)生成了一張包含雞肉、胡蘿卜和黃瓜的圖片,Gemini正確地識(shí)別出了這三種食材,然后給出了很多種可以烹飪的菜肴,而且每個(gè)都配有圖片和教程鏈接。
這么多測(cè)試結(jié)果看下來(lái),回到初的問(wèn)題,有了Gemini還有必要為GPT-4付費(fèi)嗎?
沃頓商學(xué)院副教授Ethan Mollick給出一個(gè)不錯(cuò)的建議:
沒(méi)有什么理由再使用ChatGPT的免費(fèi)版本了,現(xiàn)在已經(jīng)被Bard和Claude超越,而且它們都是免費(fèi)的。
但你或許應(yīng)該繼續(xù)使用GPT-4,它仍然占主導(dǎo)地位,并且在必應(yīng)(只有創(chuàng)意模式是GPT -4)中是免費(fèi)的。
明年將結(jié)合AlphaGo能力升級(jí)
除了Gemini實(shí)際效果,60頁(yè)技術(shù)報(bào)告中披露的更多細(xì)節(jié)也是研究人員和開(kāi)發(fā)者關(guān)注所在,
關(guān)于參數(shù)規(guī)模,只公布了小的Nano版本,分為1.8B的Nano-1和3.25B的Nano-2兩個(gè)型號(hào),4-bit量化,是蒸餾出來(lái)的,可以運(yùn)行在本地設(shè)備如Pixel手機(jī)上。
Pro版本和Ultra版本規(guī)模保密,上下文窗口長(zhǎng)度統(tǒng)一32k,注意力機(jī)制使用了Multi-Query Attention,此外沒(méi)有太多細(xì)節(jié)了。
值得的關(guān)注的是微調(diào)階段,報(bào)告中透露使用了SFT+RLHF的指令微調(diào)組合,也就是使用了ChatGPT的方法。
另外也引用了Anthropic的Constitutional AI,也就是結(jié)合了Claude的對(duì)齊方法。
關(guān)于訓(xùn)練數(shù)據(jù)也沒(méi)披露太多細(xì)節(jié),但之前有傳聞稱谷歌刪除了來(lái)自教科書(shū)的有版權(quán)數(shù)據(jù)。
Gemini拖了這么久才發(fā),之前被曝光的消息還有不少,比如谷歌創(chuàng)始人Sergey Brin一直親自下場(chǎng)對(duì)模型進(jìn)行評(píng)估并協(xié)助訓(xùn)練。
結(jié)合近OpenAI Q*項(xiàng)目的傳聞,大家關(guān)心的莫過(guò)于:
Gemini到底有沒(méi)有結(jié)合AlphaGo的能力?如RLHF之外更多的強(qiáng)化學(xué)習(xí)、搜索算法等。
關(guān)于這一點(diǎn),DeepMind創(chuàng)始人哈薩比斯在新接受連線雜志采訪時(shí)作出了回應(yīng):
我們有世界上好的強(qiáng)化學(xué)習(xí)專家……AlphaGo中的成果有望在未來(lái)改善模型的推理和規(guī)劃能力……明年大家會(huì)看到更多快速進(jìn)步。
省流版本:還沒(méi)加,明年加。
這次Gemini開(kāi)發(fā)整合了原谷歌大腦和DeepMind兩個(gè)團(tuán)隊(duì),整個(gè)開(kāi)發(fā)團(tuán)隊(duì)有超過(guò)800人(作為對(duì)比,OpenAI整個(gè)公司約770人)。
其中核心貢獻(xiàn)者前六位的名字首字母,恰好組成了Gemini這個(gè)單詞,也算一個(gè)小彩蛋。
許多參與者也在個(gè)人賬號(hào)發(fā)表了感想,其中DeepMind老員工Jack Rae此前在OpenAI工作一段時(shí)間,今年7月份從OpenAI跳回到谷歌,他可能是唯一一位對(duì)GPT-4和Gemini都有貢獻(xiàn)的人類了。
也有反著跳的,中科大校友Jiahui Yu在10月份從谷歌跳去了OpenAI,之前擔(dān)任Gemini多模態(tài)團(tuán)隊(duì)的視覺(jué)共同負(fù)責(zé)人。
除了團(tuán)隊(duì)成員之外,Gemini今天也是整個(gè)AI行業(yè)大的話題。
其中著名OpenAI爆料賬號(hào)Jimmy Apples,@Sam Altman并暗示OpenAI還有沒(méi)發(fā)布的大招。
而HuggingFace聯(lián)創(chuàng)Thomas Wolf認(rèn)為,谷歌錯(cuò)過(guò)了一個(gè)重要機(jī)會(huì):
如果Gemini開(kāi)源,對(duì)OpenAI和Meta來(lái)說(shuō)都是一記絕殺,上一次谷歌開(kāi)源Bert的時(shí)候,整個(gè)AI行業(yè)都被重塑了。
Gemini技術(shù)報(bào)告:https://storage.googleapis.com/deepmind-media/gemini/gemini_1_report.pdf
參考鏈接:
[1]https://x.com/AravSrinivas/status/1732427844729581764
[2]https://x.com/DimitrisPapail/status/1732529288493080600
[3]https://www.linkedin.com/posts/svpino_google-this-is-embarrassing-you-published-activity-7138287283274686464-osJ5
[4]https://developers.googleblog.com/2023/12/how-its-made-gemini-multimodal-prompting.html
[5]https://x.com/ScottDavidKeefe/status/1732440398423867472
[6]https://x.com/goodside/status/1732461772794220919
[7]https://x.com/emollick/status/1732485517692776714
本文鏈接:http://www.www897cc.com/showinfo-17-39339-0.html谷歌Gemini剛發(fā)就惹質(zhì)疑:測(cè)試標(biāo)準(zhǔn)有失偏頗、效果視頻疑剪輯
聲明:本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí),若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。郵件:2376512515@qq.com