三院士三教授熱聊元宇宙&——AIGC，學(xué)術(shù)界怎么看？
來源：清元宇宙在近日舉辦的中國江寧2023元宇宙產(chǎn)業(yè)·人才高峰論壇暨AIGC發(fā)展大會上，中國工程院院士譚建榮、劉韻潔、鄭緯民出席并發(fā)表了主旨演講。除了三
10 月 27 日消息，繼今年 9 月開源 Llama 3.2 的 1B 與 3B 模型之后，Meta 于 10 月 24 日發(fā)布了這兩個模型的量化版本，量化后的模型大小平均減少了 56%，RAM 使用量平均減少了 41%，模型速度提高了 2 至 4 倍，同時降低了功耗，使這些模型能夠部署到更多移動設(shè)備上。
注：模型量化（Model Quantization）就是通過各種訓(xùn)練方式將浮點模型轉(zhuǎn)為定點模型，可以壓縮模型參數(shù)，降低模型的復(fù)雜性，以便于在更輕量的平臺運行。
Meta 表示，他們采用了量化感知訓(xùn)練（Quantization-Aware Training，QAT）和后訓(xùn)練量化（SpinQuant）兩種方法對模型進行量化，其中“量化感知訓(xùn)練”更重視模型的準(zhǔn)確性，而“后訓(xùn)練量化”更強調(diào)模型的可移植性。
據(jù)介紹，研究人員一共為 Llama 3.2 的 1B 和 3B 模型各推出了兩款量化版本，分別為 Llama 3.2 1B QLoRA、Llama 3.2 1B SpinQuant、Llama 3.2 3B QLoRA 和 Llama 3.2 3B SpinQuant。
Meta 聲稱，這些量化模型比非量化的 Llama BF16 模型速度更快，占用更少的 RAM，并且功耗更低，同時保持與 Llama BF16 版本幾乎相同的精度。
盡管量化后的 Llama 3.2 1B 和 3B 模型僅支持 8000 個 Token 的上下文（原版模型支持 12.8 萬個 Token），但 Meta 的測試發(fā)現(xiàn)，無論是 Llama QLoRA 還是 Llama SpinQuant 等量化版本的基準(zhǔn)測試結(jié)果實際上與原來的 Llama BF16 版本相差不遠。
目前，Meta 已在一加12、三星 S24+/S22 及蘋果 iOS 設(shè)備（未公布具體型號）等移動平臺測試這些經(jīng)過量化后模型，測試“運行結(jié)果良好”，研究人員未來還計劃通過神經(jīng)處理單元（NPU）提升這些量化模型的性能。
本文鏈接：http://www.www897cc.com/showinfo-45-9329-0.htmlMeta 推出 Llama 3.2 1B 3B 模型量化版：功耗更低、可適用更多輕量移動設(shè)備
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號