MIX Fold3包裝盒泄露 新機本月登場
小米的全新折疊屏旗艦MIX Fold3將于本月發布，近日該機的真機包裝盒在網上泄露。從圖上來看，新的MIX Fold3包裝盒在外觀設計方面延續了之前的方案，變化不大，這也是目前小米旗艦
近日，AI界傳出了一則令人矚目的消息。據AI云服務商Hyperbolic的聯合創始人兼CTO Yuchen Jin在社交平臺上的爆料，研究員Keller Jordan僅憑一篇博客文章就成功加入了OpenAI，并且可能正在利用文章中提及的神經網絡隱藏層優化器Muon來訓練GPT-5。
Jin在爆料中感慨道，許多研究人員，包括曾經的自己，都曾誤以為在頂級學術會議上發表論文才是最終目標。然而，發表論文并不等同于產生實際影響力。Keller Jordan發布的Muon優化器僅以博客形式問世，卻幫助他叩開了OpenAI的大門，并有可能在GPT-5的訓練中大放異彩。
Jordan的這篇博客發表于2024年12月，題為《Muon：神經網絡隱藏層的優化器》。文章詳細介紹了Muon的設計理念及其在多個實驗中的優異表現。從職場社交平臺領英的信息可以確認，Jordan正是在博客發布后不久加入了OpenAI，這無疑進一步證實了他的研究成果得到了業界的認可。
Muon作為一種針對神經網絡隱藏層二維參數的優化器，在設計和應用上都有其獨到之處。它通過采用SGD-momentum生成的更新，并在應用于參數之前對每個更新應用Newton-Schulz迭代作為后處理步驟，從而實現了更新矩陣的近似正交化。這一創新設計使得Muon在多個實驗中都取得了顯著優于傳統優化器AdamW的表現。
具體而言，Muon在CIFAR-10數據集上的訓練速度記錄從3.3秒提高到了2.6秒，準確率達到了94%；在FineWeb競賽任務上的訓練速度記錄也提高了1.35倍。在擴展到更大規模的模型時，Muon仍然能夠持續顯示訓練速度的提升。這些實證成果無疑為Muon在OpenAI中的應用提供了堅實的基礎。
除了在設計上的創新，Jordan在博客中還對神經網絡優化研究中的證據標準提出了犀利批評。他指出，當前的研究文獻中充斥著大量聲稱能夠擊敗AdamW的優化器，但這些優化器往往因為基線欠調而未能得到廣泛采用。為了糾正這種情況，Jordan建議研究界應該要求新方法在競爭性訓練任務中取得成功，以確保其有效性和可靠性。
隨著Jordan加入OpenAI并可能參與GPT-5的訓練工作，Muon這一全新優化器有望成為GPT-5中的重要技術。然而，關于Muon的未來發展仍有許多未知因素，包括其是否能夠在更大規模的訓練中擴展應用，以及在大型GPU集群中的正確分布等。或許在GPT-5的研究中，這些問題都將得到解答。
舉報 0收藏 0打賞 0評論 0分享 0 更多>同類資訊
4G/5G物聯網賦能，戶外停車場如何實現智慧升級？4G/5G 網絡的高速率特性，使得車牌識別數據、控制指令等信息能夠快速傳輸，提高了系統的響應速度；低延遲特性則確保了車輛進出的及時性和流暢性。通過在每個停車位安裝地磁傳感器和車牌識別設備，并利用工業路由器和物…06-17
納秒級精度！SYN3307型GNSS馴服晶振模塊引領技術新變革西安同步電子科技有限公司匠心打造的 SYN3307 型 GNSS馴服晶振模塊，憑借其集成化設計與智能馴服技術，為無人機、雷達、衛星通訊等關鍵領域提供了穩定可靠的時空基準解決方案。隨著 5G、物聯網、自動駕駛…06-17
構建高可用服務器架構：保障業務連續性的關鍵策略服務器高可用性架構的核心目標是確保系統在面對硬件故障、軟件錯誤、網絡問題甚至人為失誤時，仍能持續運行并提供服務。 在設計高可用性架構時，還需要考慮監控和告警機制。通過采用冗余設計、分布式架構、監控告警機制以…06-17
石頭科技2024年度權益分派實施，多圖揭秘分配詳情！06-17
富士X-E5沉浸式體驗來襲，X-Pro系列也即將回歸？【CNMO科技消息】根據Petapixel的一篇采訪報道，富士膠片的產品開發負責人透露了公司對這兩款產品的未來規劃和設計理念。為了滿足這一需求，X-E5不僅增加了新的膠片模擬撥盤，還在保持XE系列一貫簡約優雅…06-17
小米高速吹風機PRO，短發星人新寵？體驗后直呼：真香！自從剪了短發之后，就需要天天洗頭，之前的吹風機太重，噪音大，而且吹干速度也慢，新入手的小米高速吹風機PRO，能快速吹干頭發，不僅顏值在線還嘎嘎好用，巖石灰的的配色好美，吹風機不大，也很輕。用了小米的這款高速吹…06-17
混凝土臂架泵車底盤：未來智能化趨勢與日常保養秘籍06-17
華為WATCH 5：以鴻蒙AI引領智能手表新風尚06-17羅永浩數字人直播首秀大獲成功，AI講解近10萬字，老羅直呼效果驚人！06-17
華為Pura 80系列首銷火爆，何剛親自交付新機，影像美學再升級！06-17拼多多概念股16日大漲，主力資金凈流入超4億，元隆雅圖領跑6月16日，拼多多概念上漲3.31%，今日主力資金流入4.11億元，概念股22只上漲，3只下跌。 主力資金凈流入居前的分別為元隆雅圖（2.76億元）、美登科技（4733.67萬元）、每日互動（4331.93萬…06-17
華為Pura80系列新機發布：影像躍遷，自研升級，6月14日起陸續開售！6月11日下午，華為Pura80系列及全場景新品發布會如期而至，備受矚目的「華為Pura80系列」正式亮相，共帶來了四款旗艦新機，從標準版到Pro、Pro+再到Ultra，不僅更新了旗艦手機的硬件堆料，也在影…06-17
贛鋒鋰業領銜，上海新設資源再生科技公司，注冊資本高達1億！06-17
廣州灣區半導體產業集團增資近三成，總額躍升至33.36億06-17
小英上位后，雙方是否已切斷所有公司關聯？06-17點擊查看更多 +全站最新
6-7月新機潮來襲，小米魅族等國產中高端機型誰更亮眼？
小米月末新品大爆炸：YU7 SUV攜手AI眼鏡，智能生態再升級！
智能眼鏡卷土重來，能否借AI之力引領科技新風尚？
emoji表情跨平臺大不同，蘋果安卓用戶如何避免溝通誤會？
Win11意外“穿越”？開機聲變回Windows Vista經典旋律
數碼博主的日常神器：揭秘他們的EDC裝備，感受科技魅力熱門內容構建高可用服務器架構：保障業務連續性的關鍵策略石頭科技2024年度權益分派實施，多圖揭秘分配詳情！富士X-E5沉浸式體驗來襲，X-Pro系列也即將回歸？小米高速吹風機PRO，短發星人新寵？體驗后直呼：真香！混凝土臂架泵車底盤：未來智能化趨勢與日常保養秘籍華為WATCH 5：以鴻蒙AI引領智能手表新風尚
本文鏈接：http://www.www897cc.com/showinfo-16-160385-0.html靠博客文章入職OpenAI，Keller Jordan的Muon優化器或助力GPT-5訓練
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號