10月21日消息,斯坦福大學最新發布的AI透明度指標揭示,市面上幾乎所有的AI基礎模型都存在透明度不足的問題。其中,meta的Lama2在指標上表現最佳,但透明度僅為54%。
據ITBEAR科技資訊了解,這項研究由HAI基礎模型研究中心(CRFM)的負責人RishiBommasani領導,對海外最受歡迎的10款基礎模型進行了調查,包括meta的Lama2、BigScience的BloomZ、OpenAI的GPT-4、Stability AI的Stable Diffusion、AnthropicPBC的Claude、谷歌的PaLM 2、Cohere的Command、AI21 Labs的Jurassic-2、InflectionAI的Inflection以及亞馬遜的Titan。
研究人員發現,在具體的透明度指標方面,評估主要圍繞著模型訓練數據集版權、訓練模型所使用的計算資源、模型生成內容的可信度、模型自身能力、模型被誘導生成有害內容的風險以及使用模型的用戶隱私性等100個項目展開。
綜合調查結果顯示,meta的Lama 2以54%的透明度位列榜首,而OpenAI的GPT-4僅有48%的透明度,谷歌的PaLM2則以40%的透明度排名第五。
具體來看,這些模型在“模型基本信息”(ModelBasics)方面表現最佳,這包括模型是否準確介紹了其模式、規模和架構,平均透明度為63%。而在“影響”(Impact)方面,模型是否會調用用戶信息進行評估,平均透明度僅為11%。
CRFM的主任Percy Liang表示,商業基礎模型的透明度對于推動AI立法對產業和學術界都非常重要。
Rishi Bommasani則認為,較低的模型透明度讓企業難以確定是否可以安全地依賴這些模型,同時也給研究人員帶來了挑戰。
最終,Rishi Bommasani認為,上述十大基礎模型的透明度都不及格,他指出,模型的透明度至少需要達到82%,才能得到外界認可。
本文鏈接:http://www.www897cc.com/showinfo-45-2254-0.html斯坦福大學發布AI透明度指標:市面AI模型面臨透明度挑戰
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com