官方承諾：K60至尊版將會(huì)首批升級(jí)MIUI 15
全新的MIUI 15今天也有了消息，在官宣了K60至尊版將會(huì)搭載天璣9200+處理器和獨(dú)顯芯片X7的同時(shí)，Redmi給出了官方承諾，K60至尊重大更新首批升級(jí)，會(huì)首批推送MIUI 15。也就是說(shuō)雖然
最近閱讀了《A Theory on Adam Instability in Large-Scale Machine Learning 》這篇論文。比較全面的闡述了100B以上的大模型預(yù)訓(xùn)練中出現(xiàn)loss spike的原因(loss 突然大幅度上漲)，并介紹了一些可能的解決辦法。論文寫(xiě)的非常精彩，但整體上有點(diǎn)散和深，我嘗試著站在工業(yè)立場(chǎng)上把它串一下
首先介紹一下什么是loss spike：
loss spike指的是預(yù)訓(xùn)練過(guò)程中，尤其容易在大模型（100B以上）預(yù)訓(xùn)練過(guò)程中出現(xiàn)的loss突然暴漲的情況
圖片
如圖所示模型訓(xùn)練過(guò)程中紅框中突然上漲的loss尖峰 loss spike的現(xiàn)象會(huì)導(dǎo)致一系列的問(wèn)題發(fā)生，譬如模型需要很長(zhǎng)時(shí)間才能再次回到spike之前的狀態(tài)（論文中稱(chēng)為pre-explosion），或者更嚴(yán)重的就是loss再也無(wú)法drop back down，即模型再也無(wú)法收斂
PaLM和GLM130b之前的解決辦法是找到loss spike之前最近的checkpoint，更換之后的訓(xùn)練樣本來(lái)避免loss spike的出現(xiàn)。
這篇論文（以下稱(chēng)本文）對(duì)loss spike的出現(xiàn)原因做了十分詳細(xì)的分析，最后認(rèn)為預(yù)訓(xùn)練使用的Adam優(yōu)化器是導(dǎo)致這個(gè)現(xiàn)象出現(xiàn)的重要原因之一
Adam算法是牛頓下降法的一個(gè)迭代逼近
圖片
一切顯得十分完美，但是理想很豐滿(mǎn)，現(xiàn)實(shí)很骨感，收斂過(guò)程并不是一帆風(fēng)順的
圖片
非穩(wěn)態(tài)
圖片
中間態(tài)
圖片
穩(wěn)態(tài)
進(jìn)入正態(tài)分布的穩(wěn)態(tài)之后，理想的更新參數(shù)變化趨勢(shì)應(yīng)該是方差越來(lái)越小，所有更新參數(shù)逐漸向0靠近。這應(yīng)該是一個(gè)單向的過(guò)程，即穩(wěn)定的單峰狀態(tài)（unimodal）不會(huì)再次進(jìn)入非穩(wěn)定的雙峰狀態(tài)(bimodal)，但事實(shí)并非如此，更新參數(shù)會(huì)再次進(jìn)入非穩(wěn)定的雙峰狀態(tài)
本文在理論層面做了研究和解釋?zhuān)瑥闹行臉O限定理（可以結(jié)合道爾頓板實(shí)驗(yàn)理解）出發(fā)，認(rèn)為隨機(jī)事件的疊加進(jìn)入單峰的正態(tài)分布的必要條件之一是各個(gè)隨機(jī)事件事件之間應(yīng)該是相互獨(dú)立的，但是梯度變化以及更新參數(shù)的變化并不能特別好的滿(mǎn)足獨(dú)立性這一條件，而這一點(diǎn)恰恰是導(dǎo)致更新參數(shù)振蕩，loss spike出現(xiàn)以及l(fā)oss 不收斂的重要原因之一
圖片
造成梯度變化不獨(dú)立的原因（1、淺層參數(shù)長(zhǎng)時(shí)間不更新2、batch太大，后期梯度更新趨于平穩(wěn)） 上述的理論有些晦澀，本文作者可能也了解這一點(diǎn)，之后開(kāi)始直接點(diǎn)題，結(jié)合實(shí)驗(yàn)觀察拋出了重要現(xiàn)象和結(jié)論
即訓(xùn)練過(guò)程中l(wèi)oss spike的出現(xiàn)與：梯度更新幅度， 大小，batch大小這三個(gè)條件密切相關(guān)
本文作者對(duì)loss spike出現(xiàn)時(shí)模型的前后變化做了仔細(xì)拆解，發(fā)現(xiàn)下列一系列連續(xù)現(xiàn)象的出現(xiàn)導(dǎo)致了loss spike：
圖片
圖片
2.模型淺層(embedding層)梯度 ，這一般是由于訓(xùn)練一段時(shí)間之后，淺層的語(yǔ)義知識(shí)表示此時(shí)一般已經(jīng)學(xué)習(xí)的較好。但此時(shí)深層網(wǎng)絡(luò)（對(duì)應(yīng)復(fù)雜任務(wù)）的梯度更新還是相對(duì)較大
圖片
3.一段時(shí)間淺層(embedding層)梯度 之后會(huì)導(dǎo)致 ， 。此時(shí)趨于0。因此導(dǎo)致淺層參數(shù)得不到更新（也對(duì)應(yīng)于上述參數(shù)更新事件不獨(dú)立的原因）
圖片
4.此時(shí)雖然淺層(embedding層)參數(shù)長(zhǎng)時(shí)間不更新，但是深層的參數(shù)依然一直在更新。長(zhǎng)時(shí)間這樣的狀態(tài)之后，batch之間的樣本分布變化可能就會(huì)直接導(dǎo)致淺層(embedding層)再次出現(xiàn)較大的梯度變化（可以想象成一個(gè)水壩蓄水太久終于被沖開(kāi)了。至于小模型為什么不會(huì)出現(xiàn)這種情況，推測(cè)是小模型函數(shù)空間小，無(wú)法捕獲樣本的分布變化，越大規(guī)模的模型對(duì)樣本之間不同維度的特征分布變化越敏感），此時(shí) ， 再次集中在 附近（此時(shí) , ），變成雙峰的非穩(wěn)定狀態(tài)，本文提到了淺層(embedding層)這種突然的參數(shù)變化可能造成模型的連鎖反應(yīng)進(jìn)而出現(xiàn)loss spike的現(xiàn)象（這也對(duì)應(yīng)了更換樣本重新訓(xùn)練有可能會(huì)減少loss spike的出現(xiàn)頻率，實(shí)際上就是選擇分布變化較小的樣本，減小淺層梯度變換幅度）
圖片
5.這個(gè)階段模型處于非穩(wěn)態(tài)，梯度變化幅度較大，每一次的梯度變化和更新參數(shù)變化事件之間又出現(xiàn)了一定的獨(dú)立性，因此經(jīng)過(guò)一定的時(shí)間之后模型有可能再次進(jìn)入穩(wěn)態(tài)，loss再次drop back down（注意，本文著重提了這個(gè)再次drop back down并不是一定出現(xiàn)的，也很有可能loss長(zhǎng)期處于flat狀態(tài)，再也無(wú)法收斂）
因此我們得出一些結(jié)論，loss spike的出現(xiàn)和淺層的梯度更新幅度， 大小密切相關(guān)（batch大小帶來(lái)的相關(guān)性問(wèn)題倒是顯得沒(méi)那么大說(shuō)服力），實(shí)際上就是淺層網(wǎng)絡(luò)參數(shù)突然進(jìn)入到了之前長(zhǎng)時(shí)間不在的狀態(tài)與模型深層參數(shù)當(dāng)前的狀態(tài)形成了連鎖反應(yīng)造成了模型進(jìn)入非穩(wěn)態(tài)。同時(shí)一般情況即使出現(xiàn)loss spike也會(huì)自動(dòng)回復(fù)到正常狀態(tài)，但也有可能再也不會(huì)
本文最后提到了防止loss spike出現(xiàn)的一些方法：
1.如之前提到的PaLM和GLM130B提到的出現(xiàn)loss spike后更換batch樣本的方法（常規(guī)方法，但是成本比較高）
2.減小learning rate，這是個(gè)治標(biāo)不治本的辦法，對(duì)更新參數(shù)的非穩(wěn)態(tài)沒(méi)有做改進(jìn)
3.減小 大小。或者直接把 設(shè)為0，重新定義
在等于0時(shí)候的值（這應(yīng)該是個(gè)值得嘗試的辦法）
值得一提的是智譜華章在本文發(fā)表之前，在去年的GLM130B訓(xùn)練時(shí)似乎也觀察到了淺層梯度變化和loss spike相關(guān)這一現(xiàn)象（GLM-130B: An Open Bilingual Pre-trained Model），他采取的是把淺層梯度直接乘以縮放系數(shù) 來(lái)減小淺層梯度更新值
出自130b
圖片
其實(shí)這塊我有個(gè)自己的想法，和是否也可以做衰減，隨著訓(xùn)練過(guò)程逐漸減小，來(lái)避免loss spike的現(xiàn)象
另外假設(shè)我們能一次性加載所有樣本進(jìn)行訓(xùn)練（實(shí)際上不可能做到），是否還會(huì)出現(xiàn)loss spike的現(xiàn)象
最后目前流行的fp8，fp16混合訓(xùn)練，如果upscale設(shè)置的過(guò)小，導(dǎo)致梯度在進(jìn)入優(yōu)化器之前就下溢，是不是會(huì)增加淺層梯度長(zhǎng)時(shí)間不更新的可能性，進(jìn)而增加loss spike的出現(xiàn)的頻率。（這么看來(lái)似乎提升upscale大小以及優(yōu)化 大小是進(jìn)一步提升模型效果的一個(gè)思路）
本文鏈接：http://www.www897cc.com/showinfo-26-57943-0.html大模型訓(xùn)練loss突刺原因和解決辦法
聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)