當前位置：首頁 > 元宇宙 > AI

谷歌新研究沖擊縮放定律！模型規模真的關鍵嗎？

來源：責編：時間：2024-04-09 17:17:27 218觀看

導讀4月9日消息，近年來，模型規模不斷擴大，一種普遍的信念是“力大磚飛”。盡管OpenAI沒有公布Sora的訓練細節，但在其技術報告中提到了：最大的模型Sora能夠生成一分鐘高保真視頻，這表明擴大視頻生成模型是構建通用世界模擬器的有

4月9日消息，近年來，模型規模不斷擴大，一種普遍的信念是“力大磚飛”。

盡管OpenAI沒有公布Sora的訓練細節，但在其技術報告中提到了：最大的模型Sora能夠生成一分鐘高保真視頻，這表明擴大視頻生成模型是構建通用世界模擬器的有前景途徑。

然而，谷歌最新的研究發現：并非如此!谷歌研究院和約翰霍普金斯大學在最新論文中指出：對于潛在擴散模型，模型不一定是越大越好。

據ITBEAR科技資訊了解，關于縮放定律的爭議一直存在。OpenAI在2020年發表的論文提出，模型效果與規模大小、數據集大小、計算量強相關，而與具體結構弱相關。

縮放定律不僅適用于語言模型，還適用于其他模態及跨模態場景。這一概念的提出使研究人員和開發者能夠更有效地設計模型架構，選擇合適的模型大小和數據集規模，以實現最佳性能。

谷歌最新研究集中在圖像生成模型上，提出對于潛在擴散模型，在計算資源有限時，增加計算量應該增加數據集大小，而不是模型參數量。

這是否意味著縮放定律失效了?作者的研究表明，在有限的計算資源下，較小的模型可以優于較大的模型;模型大小和訓練步驟的選擇需與計算資源相匹配。

然而，在訓練步驟恒定的情況下，大模型仍然具有優勢，尤其在處理圖像細節方面。

研究者還發現，不同大小的模型在CFG(Classifier-Free Guidance)技術下受影響基本相同，這一發現令人意外。

這項研究探索了模型效率與品質之間的最佳平衡，為開發更高效的圖像生成AI系統提供了指導。這與當前AI領域的趨勢相契合，即小型語言模型在多項任務中超越大型對手，旨在推動AI技術的民主化。

標簽：OpenAI

舉報 0收藏 0打賞 0評論 0

更多>同類資訊

聯發科重磅推出“達哥”AI服務平臺，支持頂尖繁體中文大模型MR BreeXe

4月9日消息，聯發科在今日盛大舉行的生成式 AI 論壇中，正式發布了其全新的生成式AI服務平臺——MediaTek DaVinci，該平臺亦被親切地稱為“聯發科技達哥”。自其問世以來，已吸引了超過40家廠商踴躍加入其生態系統，共同探索AI技術的新邊界。MediaTek

04-09

數字永生！AI“復活”產品火爆上線，你會為逝去的親人嘗試嗎？

4月9日消息，清明節前，電商平臺迎來了一股獨特的潮流，一位名為龐立的人工智能專業研究生在這個時機注冊了一家店鋪，專門提供AI“復活”服務。據龐立透露，今年大型模型應用與數字人訓練平臺技術都有所升級，結合最近AI“復活”話題的火爆，他決定進

04-09

超越GPT-3.5？聯發科推出450億參數AI模型！

4月9日消息，聯發科近日推出了全新的生成式AI服務平臺——MediaTek DaVinci，該平臺也被業界親切地稱為“聯發科技達哥”。據悉，該平臺自推出以來，已成功吸引了20余家高科技廠商、10余家消費品牌、6家金融業機構、3家電信企業以及5家傳統產業企業加

04-09

英偉達大佬最愛的AI聊天機，你知道是誰嗎？

4月9日消息，近日，英偉達創始人黃仁勛在接受《連線》雜志采訪時，透露了他最愛用的AI聊天機器人——Perplexity。這款AI工具在業界嶄露頭角，盡管其熱度不及ChatGPT，但在AI領域卻是一顆冉冉升起的新星。據ITBEAR科技資訊了解，Perplexity沒有依賴狂

04-09

OpenAI人工智能市值突破270億，投資者眼中下一個獨角獸？

4月8日消息，據權威消息稱，OpenAI有望在未來一年內通過銷售人工智能軟件和提供計算能力賺取超過10億美元的收入。這一數字遠遠超出了此前股東們預期的收入水平。OpenAI目前每月創造的超過8億美元的收入，表明了其商業價值的快速增長。該公司的賬面價

04-08

微軟震撼倫敦！全新人工智能中心來襲，領軍專家曝光！

4月8日消息，微軟于當地時間4月7日宣布，將在倫敦市中心建立一個全新的人工智能中心。這一舉措旨在進一步加強微軟在人工智能領域的實力。據悉，新成立的微軟人工智能部門將由資深人工智能科學家和工程師喬丹·霍夫曼(Jordan Hoffmann)領導?；舴蚵?/div>

04-08

AI革命，手機將被AI Pin取代？

4月8日消息，Humane創始人Bethany Bongiorno和Imran Chaudhri夫婦宣布推出首款AI設備——AI Pin，這標志著他們的離職創業之路邁出了重要一步。AI Pin是一款具有磁性的方形設備，可以輕松固定在衣服上，實現拍照、發送短信以及作為個人助手的功能。與

04-08

AI訓練耗電量驚人？未來誰來買單？

4月8日消息，近日，特斯拉 CEO 馬斯克在一次活動中發表言論，指出未來可能會面臨電力不足的挑戰，尤其是在芯片短缺問題未解決的情況下。他認為，隨著人工智能的發展，對電力的需求將進一步增加。有關AI對電力的巨大需求問題，一直備受關注。訓練和發

04-08

自定義指令大揭秘！Altman親自指導，ChatGPT能成為你的個人智囊團？

4月8日消息，Altman親自通過推特發布了對自定義指令(Custom Instructions)功能的引導。他認為，雖然這一功能剛剛推出，但并沒有引起太多討論，因為許多網友甚至不知道如何開啟它，也不理解OpenAI推出這一功能的意義。微博知名大佬「寶玉xp」對自定義

04-08

未來人工智能設備將取代手機？大咖聯手打造新品！

4月8日消息，據The Information報道，OpenAI首席執行官薩姆·阿爾特曼和蘋果前設計總監喬納森·艾維已經正式攜手合作，共同設計一款人工智能驅動的個人設備，并正在尋求資金支持。雖然關于這款人工智能設備的具體細節尚未被公之于眾，但據悉，它不太

04-08

AI情感智能：人機交互，誰更懂你？

4月7日消息，紐約初創公司Hume AI日前發布了一款號稱為「第一個具有情商的對話式人工智能」的共情語音接口(EVI)，并聲稱該接口能夠檢測到用戶的53種不同情緒。據悉，這家初創公司由前Google DeepMind研究員Alan Cowen共同創立并擔任CEO。與其他人工智

04-07

人工智能音樂大殺器！「天工SkyMusic」你敢試嗎？

4月7日消息，昆侖萬維AI音樂生成大模型「天工SkyMusic」已于本月2日正式開啟免費邀測。此次邀測將向社會開放1000個免費名額，主要面向行業媒體、專家和音樂從業者。用戶可通過掃描提供的二維碼或訪問指定網頁進行申請。據了解，「天工SkyMusic」正式

04-07

馬斯克之子！xAI瘋狂融資，180億估值到底值不值？

4月7日消息，據知情人士透露，埃隆?馬斯克旗下的人工智能創業公司xAI正在與投資者就融資事宜進行洽談。這次融資計劃達到30億美元，將使得xAI的估值達到180億美元。報道指出，參與xAI融資的投資方包括風投公司Gigafund和投資人Steve Jurvetson。Gigaf

04-07

文心一言：2秒變定制聲音，音色怎么選？

4月7日消息，文心一言近日推出了一項令用戶興奮的新功能——僅需2秒即可定制聲音。通過打開文心一言App，用戶可以輕松選擇創建智能體，并點擊創建自己的聲音。根據系統提示，只需讀出約2秒左右的一段話，即可獲得定制的聲音。據了解，這一功能的推出

04-07

人工智能超越人類？馬斯克：或許僅剩五年！

4月7日消息，近日，特斯拉和SpaceX的CEO埃隆·馬斯克在“豐富峰會”上與奇點大學和XPRIZE基金會創始人彼得·戴曼迪斯進行了在線對話。這次峰會由硅谷的奇點大學主辦，旨在向商業領袖提供前沿技術咨詢。XPRIZE基金會則通過舉辦科學競賽推動科技創新，

04-07

點擊查看更多 +

全站最新

Nothing Ear /（a）藍牙耳機渲染圖大曝光，4 月 18 日發布

超越GPT-3.5？聯發科推出450億參數AI模型！

英偉達大佬最愛的AI聊天機，你知道是誰嗎？

帶給更多用戶移動AI體驗三星Galaxy S23系列現已支持Galaxy AI

努比亞小牛5G百元神機問世：搭載展銳T760，雙面玻璃設計，799元起步

谷歌Nest Secure安防系統今日起正式停用

熱門內容

華為云攜手樂聚機器人，共探“盤古大模型+夸父人形機器人”新應用場景
谷歌借助AI突破：提前7天預測洪災，全球80國將受益
華為云攜手貴安新區，共筑全球領先智算高地
谷歌DeepMind推出SIMA模型：打造更貼近人類的游戲智能隊友
Cerebras發布第三代芯片WSE-3：性能翻倍，助力大模型訓練
微軟或與OpenAI聯手，斥資千億美元打造“星際之門”AI超算
音樂界的ChatGPT？天工SkyMusic邀您體驗AI音樂創作
京東推出全新“AI全能服務包”，助力商家降低50%運營成本
英美聯手打造AI安全新標桿，科學合作伙伴關系正式建立
微軟Copilot全面升級至GPT-4 Turbo模型，提升編碼體驗
百度文心一言推出新功能，秒速定制你的專屬AI聲音
WPS推出AI會員服務，月費25元起，開啟AI辦公新紀元
OpenAI疑似泄露GPT-4.5 Turbo模型信息
特斯拉加速推進人形機器人項目，招聘技術撰寫員預示Optimus即將面世
馬斯克再談AI風險：利大于弊仍值得冒險

本欄最新

超越GPT-3.5？聯發科推出450億參數AI模型！

英偉達大佬最愛的AI聊天機，你知道是誰嗎？

OpenAI人工智能市值突破270億，投資者眼中下一個獨角獸？

微軟震撼倫敦！全新人工智能中心來襲，領軍專家曝光！

AI革命，手機將被AI Pin取代？

AI訓練耗電量驚人？未來誰來買單？

本文鏈接：http://www.www897cc.com/showinfo-45-3911-0.html谷歌新研究沖擊縮放定律！模型規模真的關鍵嗎？

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇：誰在偷懶？OpenAI的ChatGPT竟然變得越來越懶散？

下一篇：聯發科重磅推出“達哥”AI服務平臺，支持頂尖繁體中文大模型MR BreeXe

標簽：

熱門焦點

SQL Error: select * from ***_ecms_news13 where id in(,117,214,279,208,39,70,151,154) limit 9

日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

首頁

元宇宙

NFT

區塊鏈

虛擬人

AR/VR

AI

元宇宙百科

谷歌新研究沖擊縮放定律！模型規模真的關鍵嗎？

最新推薦

三院士三教授熱聊元宇宙&——AIGC，學術界怎么看？

2022年中國元宇宙系列報告：底層架構研究：虛擬引擎，擎動未來

NFT：新騙局的狩獵場

GameFi 深度解析，元宇宙內容雛形顯現

花旗集團前高管加入Provenance區塊鏈，擔任CEO

Staking 收益翻倍？

猜你喜歡

熱門推薦

相關資訊

谷歌新研究沖擊縮放定律！模型規模真的關鍵嗎？

最新推薦

猜你喜歡

熱門推薦

相關資訊

谷歌新研究沖擊縮放定律！模型規模真的關鍵嗎？