10 月 2 日消息，據 PyTorch 新聞稿，PyTorch 旗下架構優化庫 torchao 現已正式發布，該優化庫主要專注于模型的量化和稀疏性優化，能夠在保證性能的同時降低模型的計算成本和 RAM 用量，從而提升模型運行效率，附 GitHub 頁面地址（點此訪問）。6Ud28資訊網——每日最新資訊28at.com

據介紹，torchao 提供了一系列優化工具集，可以幫助 LLaMA 3等流行的 AI 模型提升性能，其支持 float8、int4 等低精度數據類型，能夠有效減少硬件開銷和RAM用量。6Ud28資訊網——每日最新資訊28at.com

6Ud28資訊網——每日最新資訊28at.com

官方舉例，在 LLaMA 3 70B 模型的預訓練中，torchao 提供的 float8 訓練流程可將模型計算速度提升 1.5 倍。開發者只需利用 convert_to_float8_training 函數，即可將模型訓練轉換為 float8，從而輕松實現模型高效訓練。6Ud28資訊網——每日最新資訊28at.com

在推理方面，torchao 提供多種量化方法，包括權重量化（Weight-Only Quantization）和動態激活量化（Dynamic Activation Quantization），用戶可以自有選擇適合的量化策略，以獲得最佳的模型推理性能。6Ud28資訊網——每日最新資訊28at.com

在稀疏性優化方面，torchao 可以優化模型參數計算效率，據稱可讓 ViT-H 模型的推理速度提升 5%。同時，torchao 還可以將權重量化為 int4，并將鍵值緩存量化為 int8，可令 LLaMA 3.1 8B 在完整的 128K 上下文長度下僅占用 18.9GB 的顯存。6Ud28資訊網——每日最新資訊28at.com

6Ud28資訊網——每日最新資訊28at.com

本文鏈接：http://www.www897cc.com/showinfo-45-8027-0.htmlPyTorch 架構優化庫 torchao 正式發布，可大幅提升 AI 模型效率

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： OpenAI 發布 Realtime API，助力第三方應用集成其語音合成技術

下一篇： 非 Transformer 架構 AI 模型 Liquid 問世，號稱性能“凌駕 Meta Llama 微軟 Phi”