當前位置：首頁 > 科技 > 資訊

谷歌新研究沖擊縮放定律！模型規模真的關鍵嗎？

來源：責編：時間：2024-04-09 17:17:23 194觀看

導讀4月9日消息，近年來，模型規模不斷擴大，一種普遍的信念是“力大磚飛”。盡管OpenAI沒有公布Sora的訓練細節，但在其技術報告中提到了：最大的模型Sora能夠生成一分鐘高保真視頻，這表明擴大視頻生成模型是構建通用世界模擬器的有

4月9日消息，近年來，模型規模不斷擴大，一種普遍的信念是“力大磚飛”。

盡管OpenAI沒有公布Sora的訓練細節，但在其技術報告中提到了：最大的模型Sora能夠生成一分鐘高保真視頻，這表明擴大視頻生成模型是構建通用世界模擬器的有前景途徑。

然而，谷歌最新的研究發現：并非如此!谷歌研究院和約翰霍普金斯大學在最新論文中指出：對于潛在擴散模型，模型不一定是越大越好。

據ITBEAR科技資訊了解，關于縮放定律的爭議一直存在。OpenAI在2020年發表的論文提出，模型效果與規模大小、數據集大小、計算量強相關，而與具體結構弱相關。

縮放定律不僅適用于語言模型，還適用于其他模態及跨模態場景。這一概念的提出使研究人員和開發者能夠更有效地設計模型架構，選擇合適的模型大小和數據集規模，以實現最佳性能。

谷歌最新研究集中在圖像生成模型上，提出對于潛在擴散模型，在計算資源有限時，增加計算量應該增加數據集大小，而不是模型參數量。

這是否意味著縮放定律失效了?作者的研究表明，在有限的計算資源下，較小的模型可以優于較大的模型;模型大小和訓練步驟的選擇需與計算資源相匹配。

然而，在訓練步驟恒定的情況下，大模型仍然具有優勢，尤其在處理圖像細節方面。

研究者還發現，不同大小的模型在CFG(Classifier-Free Guidance)技術下受影響基本相同，這一發現令人意外。

這項研究探索了模型效率與品質之間的最佳平衡，為開發更高效的圖像生成AI系統提供了指導。這與當前AI領域的趨勢相契合，即小型語言模型在多項任務中超越大型對手，旨在推動AI技術的民主化。

標簽：OpenAI

舉報 0收藏 0打賞 0評論 0

更多>同類資訊

聯發科重磅推出“達哥”AI服務平臺，支持頂尖繁體中文大模型MR BreeXe

4月9日消息，聯發科在今日盛大舉行的生成式 AI 論壇中，正式發布了其全新的生成式AI服務平臺——MediaTek DaVinci，該平臺亦被親切地稱為“聯發科技達哥”。自其問世以來，已吸引了超過40家廠商踴躍加入其生態系統，共同探索AI技術的新邊界。MediaTek

04-09

數字永生！AI“復活”產品火爆上線，你會為逝去的親人嘗試嗎？

4月9日消息，清明節前，電商平臺迎來了一股獨特的潮流，一位名為龐立的人工智能專業研究生在這個時機注冊了一家店鋪，專門提供AI“復活”服務。據龐立透露，今年大型模型應用與數字人訓練平臺技術都有所升級，結合最近AI“復活”話題的火爆，他決定進

04-09

超越GPT-3.5？聯發科推出450億參數AI模型！

4月9日消息，聯發科近日推出了全新的生成式AI服務平臺——MediaTek DaVinci，該平臺也被業界親切地稱為“聯發科技達哥”。據悉，該平臺自推出以來，已成功吸引了20余家高科技廠商、10余家消費品牌、6家金融業機構、3家電信企業以及5家傳統產業企業加

04-09

英偉達大佬最愛的AI聊天機，你知道是誰嗎？

4月9日消息，近日，英偉達創始人黃仁勛在接受《連線》雜志采訪時，透露了他最愛用的AI聊天機器人——Perplexity。這款AI工具在業界嶄露頭角，盡管其熱度不及ChatGPT，但在AI領域卻是一顆冉冉升起的新星。據ITBEAR科技資訊了解，Perplexity沒有依賴狂

04-09

OpenAI人工智能市值突破270億，投資者眼中下一個獨角獸？

4月8日消息，據權威消息稱，OpenAI有望在未來一年內通過銷售人工智能軟件和提供計算能力賺取超過10億美元的收入。這一數字遠遠超出了此前股東們預期的收入水平。OpenAI目前每月創造的超過8億美元的收入，表明了其商業價值的快速增長。該公司的賬面價

04-08

微軟震撼倫敦！全新人工智能中心來襲，領軍專家曝光！

4月8日消息，微軟于當地時間4月7日宣布，將在倫敦市中心建立一個全新的人工智能中心。這一舉措旨在進一步加強微軟在人工智能領域的實力。據悉，新成立的微軟人工智能部門將由資深人工智能科學家和工程師喬丹·霍夫曼(Jordan Hoffmann)領導。霍夫曼在

04-08

AI革命，手機將被AI Pin取代？

4月8日消息，Humane創始人Bethany Bongiorno和Imran Chaudhri夫婦宣布推出首款AI設備——AI Pin，這標志著他們的離職創業之路邁出了重要一步。AI Pin是一款具有磁性的方形設備，可以輕松固定在衣服上，實現拍照、發送短信以及作為個人助手的功能。與

04-08

AI訓練耗電量驚人？未來誰來買單？

4月8日消息，近日，特斯拉 CEO 馬斯克在一次活動中發表言論，指出未來可能會面臨電力不足的挑戰，尤其是在芯片短缺問題未解決的情況下。他認為，隨著人工智能的發展，對電力的需求將進一步增加。有關AI對電力的巨大需求問題，一直備受關注。訓練和發

04-08

自定義指令大揭秘！Altman親自指導，ChatGPT能成為你的個人智囊團？

4月8日消息，Altman親自通過推特發布了對自定義指令(Custom Instructions)功能的引導。他認為，雖然這一功能剛剛推出，但并沒有引起太多討論，因為許多網友甚至不知道如何開啟它，也不理解OpenAI推出這一功能的意義。微博知名大佬「寶玉xp」對自定義

04-08

未來人工智能設備將取代手機？大咖聯手打造新品！

4月8日消息，據The Information報道，OpenAI首席執行官薩姆·阿爾特曼和蘋果前設計總監喬納森·艾維已經正式攜手合作，共同設計一款人工智能驅動的個人設備，并正在尋求資金支持。雖然關于這款人工智能設備的具體細節尚未被公之于眾，但據悉，它不太

04-08

AI情感智能：人機交互，誰更懂你？

4月7日消息，紐約初創公司Hume AI日前發布了一款號稱為「第一個具有情商的對話式人工智能」的共情語音接口(EVI)，并聲稱該接口能夠檢測到用戶的53種不同情緒。據悉，這家初創公司由前Google DeepMind研究員Alan Cowen共同創立并擔任CEO。與其他人工智

04-07

人工智能音樂大殺器！「天工SkyMusic」你敢試嗎？

4月7日消息，昆侖萬維AI音樂生成大模型「天工SkyMusic」已于本月2日正式開啟免費邀測。此次邀測將向社會開放1000個免費名額，主要面向行業媒體、專家和音樂從業者。用戶可通過掃描提供的二維碼或訪問指定網頁進行申請。據了解，「天工SkyMusic」正式

04-07

馬斯克之子！xAI瘋狂融資，180億估值到底值不值？

4月7日消息，據知情人士透露，埃隆?馬斯克旗下的人工智能創業公司xAI正在與投資者就融資事宜進行洽談。這次融資計劃達到30億美元，將使得xAI的估值達到180億美元。報道指出，參與xAI融資的投資方包括風投公司Gigafund和投資人Steve Jurvetson。Gigaf

04-07

文心一言：2秒變定制聲音，音色怎么選？

4月7日消息，文心一言近日推出了一項令用戶興奮的新功能——僅需2秒即可定制聲音。通過打開文心一言App，用戶可以輕松選擇創建智能體，并點擊創建自己的聲音。根據系統提示，只需讀出約2秒左右的一段話，即可獲得定制的聲音。據了解，這一功能的推出

04-07

人工智能超越人類？馬斯克：或許僅剩五年！

4月7日消息，近日，特斯拉和SpaceX的CEO埃隆·馬斯克在“豐富峰會”上與奇點大學和XPRIZE基金會創始人彼得·戴曼迪斯進行了在線對話。這次峰會由硅谷的奇點大學主辦，旨在向商業領袖提供前沿技術咨詢。XPRIZE基金會則通過舉辦科學競賽推動科技創新，

04-07

點擊查看更多 +

全站最新

Nothing Ear /（a）藍牙耳機渲染圖大曝光，4 月 18 日發布

超越GPT-3.5？聯發科推出450億參數AI模型！

英偉達大佬最愛的AI聊天機，你知道是誰嗎？

帶給更多用戶移動AI體驗三星Galaxy S23系列現已支持Galaxy AI

努比亞小牛5G百元神機問世：搭載展銳T760，雙面玻璃設計，799元起步

谷歌Nest Secure安防系統今日起正式停用

熱門內容

華為云攜手樂聚機器人，共探“盤古大模型+夸父人形機器人”新應用場景
谷歌借助AI突破：提前7天預測洪災，全球80國將受益
華為云攜手貴安新區，共筑全球領先智算高地
谷歌DeepMind推出SIMA模型：打造更貼近人類的游戲智能隊友
Cerebras發布第三代芯片WSE-3：性能翻倍，助力大模型訓練
微軟或與OpenAI聯手，斥資千億美元打造“星際之門”AI超算
音樂界的ChatGPT？天工SkyMusic邀您體驗AI音樂創作
京東推出全新“AI全能服務包”，助力商家降低50%運營成本
英美聯手打造AI安全新標桿，科學合作伙伴關系正式建立
微軟Copilot全面升級至GPT-4 Turbo模型，提升編碼體驗
百度文心一言推出新功能，秒速定制你的專屬AI聲音
WPS推出AI會員服務，月費25元起，開啟AI辦公新紀元
OpenAI疑似泄露GPT-4.5 Turbo模型信息
特斯拉加速推進人形機器人項目，招聘技術撰寫員預示Optimus即將面世
馬斯克再談AI風險：利大于弊仍值得冒險

本欄最新

超越GPT-3.5？聯發科推出450億參數AI模型！

英偉達大佬最愛的AI聊天機，你知道是誰嗎？

OpenAI人工智能市值突破270億，投資者眼中下一個獨角獸？

微軟震撼倫敦！全新人工智能中心來襲，領軍專家曝光！

AI革命，手機將被AI Pin取代？

AI訓練耗電量驚人？未來誰來買單？

本文鏈接：http://www.www897cc.com/showinfo-16-82333-0.html谷歌新研究沖擊縮放定律！模型規模真的關鍵嗎？

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇：誰在偷懶？OpenAI的ChatGPT竟然變得越來越懶散？

下一篇：聯發科重磅推出“達哥”AI服務平臺，支持頂尖繁體中文大模型MR BreeXe

標簽：

熱門焦點

7月安卓手機性能榜：紅魔8S Pro再奪榜首

7月份的手機市場風平浪靜，除了紅魔和努比亞帶來了兩款搭載驍龍8Gen2領先版處理器的新機之外，別的也想不到有什么新品了，這也正常，通常6月7月都是手機廠商修整的時間，進入8月份之
K8S | Service服務發現

一、背景在微服務架構中，這里以開發環境「Dev」為基礎來描述，在K8S集群中通常會開放：路由網關、注冊中心、配置中心等相關服務，可以被集群外部訪問；圖片對于測試「Tes」環境或者
Java NIO內存映射文件：提高文件讀寫效率的優秀實踐！

Java的NIO庫提供了內存映射文件的支持，它可以將文件映射到內存中，從而可以更快地讀取和寫入文件數據。本文將對Java內存映射文件進行詳細的介紹和演示。內存映射文件概述內存
Flowable工作流引擎的科普與實踐

一.引言當我們在日常工作和業務中需要進行各種審批流程時，可能會面臨一系列技術和業務上的挑戰。手動處理這些審批流程可能會導致開發成本的增加以及業務復雜度的上升。在這
大廠卷向扁平化

來源：新熵作者丨南枝編輯丨月見大廠職級不香了。俗話說，兵無常勢，水無常形，互聯網企業調整職級體系并不稀奇。7月13日，淘寶天貓集團啟動了近年來最大的人力制度改革，目前已形成一
信通院：小米、華為等11家應用商店基本完成APP簽名及驗簽工作

中國信通院表示，目前，小米、華為、OPPO、vivo、360手機助手、百度手機助手、應用寶、豌豆莢和努比亞等9家應用商店，以及抖音和快手2家新型應用分發平
AMD的AI芯片轉單給三星可能性不大與臺積電已合作至2nm制程

據 DIGITIMES 消息，英偉達 AI GPU 出貨逐季飆升，接下來 AMD MI 300 系列將在第 4 季底量產。而半導體業內人士表示，近日傳出 AMD 的 AI 芯片將轉單給
iQOO 11S屏幕細節公布：首發三星2K E6全感屏安卓最好的直屏手機

日前iQOO手機官方宣布，新一代電競旗艦iQOO 11S將會在7月4日19:00正式與大家見面。隨著發布時間的日益臨近，官方關于該機的預熱也更加密集，截至目前已
利用職權私自解除被封帳號 Meta開除20多名員工

11月18日消息，據外媒援引知情人士表示，過去一年時間內，Facebook母公司Meta解雇或處罰了20多名員工以及合同工，指控這些人通過內部系統以不當方式重置用戶帳號，其

日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

谷歌新研究沖擊縮放定律！模型規模真的關鍵嗎？

7月安卓手機性能榜：紅魔8S Pro再奪榜首

K8S | Service服務發現

Java NIO內存映射文件：提高文件讀寫效率的優秀實踐！

Flowable工作流引擎的科普與實踐

大廠卷向扁平化

信通院：小米、華為等11家應用商店基本完成APP簽名及驗簽工作

AMD的AI芯片轉單給三星可能性不大與臺積電已合作至2nm制程

iQOO 11S屏幕細節公布：首發三星2K E6全感屏安卓最好的直屏手機

利用職權私自解除被封帳號 Meta開除20多名員工

最新推薦

猜你喜歡

熱門推薦

相關資訊