日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當前位置:首頁 > 科技  > 知識百科

終于不瞎編了!AI學會“谷歌一下”,Q&A正確率達90%

來源: 責編: 時間:2023-08-07 16:30:02 228觀看
導讀 本文經AI新媒體量子位(公眾號ID:QbitAI)授權轉載,轉載請聯系出處。語言模型總是給出“驢唇不對馬嘴”的答案,已經成為它最飽受詬病的問題之一。現在,DeepMind想到了一

本文經AI新媒體量子位(公眾號ID:QbitAI)授權轉載,轉載請聯系出處。Qfi28資訊網——每日最新資訊28at.com

語言模型總是給出“驢唇不對馬嘴”的答案,已經成為它最飽受詬病的問題之一。Qfi28資訊網——每日最新資訊28at.com

現在,DeepMind想到了一個解決辦法——Qfi28資訊網——每日最新資訊28at.com

讓模型像人類一樣,學會“谷歌一下”,回答問題同時還能給出論據。Qfi28資訊網——每日最新資訊28at.com

Qfi28資訊網——每日最新資訊28at.com

這個模型名叫GopherCite,當你問它:Qfi28資訊網——每日最新資訊28at.com

GopherCite是如何找到論據來源的?Qfi28資訊網——每日最新資訊28at.com

它會回答:Qfi28資訊網——每日最新資訊28at.com

通過谷歌搜索檢索相關文檔。Qfi28資訊網——每日最新資訊28at.com

同時還給出了答案的依據,援引自DeepMind發布這項研究的頁面。Qfi28資訊網——每日最新資訊28at.com

Qfi28資訊網——每日最新資訊28at.com

而且遇到實在不懂的問題,它還會說“I don’t know.”,不會強行給一個錯誤答案。Qfi28資訊網——每日最新資訊28at.com

訓練結果顯示,該模型在自然問題數據集、ELI5數據集上的正確率分別可以達到90%、80%,接近人類水平。Qfi28資訊網——每日最新資訊28at.com

用強化學習訓練AI查谷歌Qfi28資訊網——每日最新資訊28at.com

首先我們來看一下GopherCite的效果如何。Qfi28資訊網——每日最新資訊28at.com

當被問道:Qfi28資訊網——每日最新資訊28at.com

在Scooby Doo中,Scooby是什么動物?Qfi28資訊網——每日最新資訊28at.com

GopherCite回答道:Qfi28資訊網——每日最新資訊28at.com

一只大丹犬。Qfi28資訊網——每日最新資訊28at.com

摘自維基百科Scooby-Doo。這是周六早上播出的系列青少年動畫片,主角包括弗雷德·瓊斯等,以及一只名叫Scooby-Doo、會說話的大丹犬。Qfi28資訊網——每日最新資訊28at.com

Qfi28資訊網——每日最新資訊28at.com

不難看出,在學會找論據后,AI給出的回答靠譜多了。Qfi28資訊網——每日最新資訊28at.com

事實上,GopherCite的前輩——超大語言模型Gopher,此前回答問題時的表現就要差勁很多。Qfi28資訊網——每日最新資訊28at.com

Gopher是DeepMind在去年年底發布的NLP模型,包含2800億參數。Qfi28資訊網——每日最新資訊28at.com

它基于Transformer架構,在10.5TB大小的MassiveText語料庫上進行訓練。Qfi28資訊網——每日最新資訊28at.com

在這里,DeepMind舉了一個例子來說明。Qfi28資訊網——每日最新資訊28at.com

讓Gopher和GopherCite回答同一個問題:Qfi28資訊網——每日最新資訊28at.com

普萊西德湖一共舉辦過幾次冬奧會?Qfi28資訊網——每日最新資訊28at.com

Gopher回答(是錯的):Qfi28資訊網——每日最新資訊28at.com

普萊西德湖在1932年、1936年、1980年舉辦過冬奧會。Qfi28資訊網——每日最新資訊28at.com

但GopherCite就答對了:Qfi28資訊網——每日最新資訊28at.com

兩次。Qfi28資訊網——每日最新資訊28at.com

并給出了嚴謹的理由:Qfi28資訊網——每日最新資訊28at.com

援引自美國主辦奧運會城市史。1932年、1980年在普萊西德湖舉辦過冬季奧運會;1936年、1984年在洛杉磯舉辦過夏季奧運會。Qfi28資訊網——每日最新資訊28at.com

Qfi28資訊網——每日最新資訊28at.com

那么GopherCite的具體工作原理是怎樣的呢?Qfi28資訊網——每日最新資訊28at.com

在Gopher的基礎上,研究人員開發了一種獎勵機制,也就是用上強化學習。Qfi28資訊網——每日最新資訊28at.com

在收到問題后,模型會訪問谷歌搜索的API來找到相關的網頁,獲取top-K結果。Qfi28資訊網——每日最新資訊28at.com

(top-K操作,即從分數集合中找到k個最大或最小元素,是一個重要的機器學習模型組件,被廣泛用于信息檢索和數據挖掘中。)Qfi28資訊網——每日最新資訊28at.com

然后它會根據問題來生成一些答案,答案數量N會大于K。Qfi28資訊網——每日最新資訊28at.com

這些答案同時會帶有自己的證據,即從網頁上搜索到的包含答案的文段。Qfi28資訊網——每日最新資訊28at.com

接下來,系統會對這些答案進行打分,最終輸出得分最高的答案。Qfi28資訊網——每日最新資訊28at.com

Qfi28資訊網——每日最新資訊28at.com

在推理過程中,模型采樣會按照循環在文檔上不斷迭代,每個循環都會從單個文檔中盡可能多地顯示上下文內容,然后對文本重新排序并返回給上一步。Qfi28資訊網——每日最新資訊28at.com

Qfi28資訊網——每日最新資訊28at.com

此外,這個模型還會計算最終生成答案的質量,如果生成答案太差,它就會選擇不回答。Qfi28資訊網——每日最新資訊28at.com

Qfi28資訊網——每日最新資訊28at.com

這是源于紅牛的廣告語:“它會給你翅膀”。Qfi28資訊網——每日最新資訊28at.com

在ELI5Filtered數據集上回答70%的問題時,正確率為80%左右。Qfi28資訊網——每日最新資訊28at.com

DeepMind表示這種訓練模式和LaMDA有些類似。Qfi28資訊網——每日最新資訊28at.com

LaMDA是谷歌在去年I/O大會上發布的一個對話模型,它能夠在“聽懂”人類指令的基礎上,對答如流并保證邏輯、事實正確。Qfi28資訊網——每日最新資訊28at.com

Qfi28資訊網——每日最新資訊28at.com

不同的是,LaMDA有時會直接給人分享問題的相關鏈接,而GopherCite可以直接摘出相關論據文段。Qfi28資訊網——每日最新資訊28at.com

另外,OpenAI最近也開發了一個網頁版GPT (WebGPT),同樣也是用類似的方法來校正GPT-3。Qfi28資訊網——每日最新資訊28at.com

DeepMind表示,WebGPT是通過多次訪問網頁來組織答案,GopherCite則是側重于讀取長文段。Qfi28資訊網——每日最新資訊28at.com

還是會有失誤Qfi28資訊網——每日最新資訊28at.com

雖然懂得援引資料了,但是GopherCite有時還是會生搬硬套。Qfi28資訊網——每日最新資訊28at.com

比如當你問它“喝了紅牛會怎么樣?”,它的回答是“翅膀”。Qfi28資訊網——每日最新資訊28at.com

Qfi28資訊網——每日最新資訊28at.com

這是源于紅牛的廣告語:“它會給你翅膀”。Qfi28資訊網——每日最新資訊28at.com

顯然讓它理解比喻還是有點困難……Qfi28資訊網——每日最新資訊28at.com

也有網友吐槽說,可能人類自己去谷歌搜索會更快。Qfi28資訊網——每日最新資訊28at.com

Qfi28資訊網——每日最新資訊28at.com

你覺得呢?Qfi28資訊網——每日最新資訊28at.com

 Qfi28資訊網——每日最新資訊28at.com

本文鏈接:http://www.www897cc.com/showinfo-119-2220-0.html終于不瞎編了!AI學會“谷歌一下”,Q&A正確率達90%

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: 谷歌:性能不佳的微調模型不要扔,求一下平均權重就能提升性能

下一篇: 云計算開發:Python3-List insert()方法詳解

標簽:
  • 熱門焦點
Top 主站蜘蛛池模板: 云霄县| 朝阳区| 炎陵县| 西乌珠穆沁旗| 沙洋县| 温宿县| 丁青县| 资源县| 濮阳县| 沁水县| 中阳县| 洪江市| 固安县| 阳新县| 洛浦县| 方山县| 柳河县| 从化市| 石嘴山市| 南通市| 德阳市| 博乐市| 大同县| 偏关县| 方正县| 汤原县| 临邑县| 汕头市| 广德县| 宿迁市| 黄骅市| 龙胜| 申扎县| 象州县| 崇仁县| 布尔津县| 漳浦县| 凤冈县| 社会| 丹江口市| 广德县|