隨著深度學習模型在自然語言處理等領域的廣泛應用，模型推理速度和性能成為關鍵問題。近日，由快手主導的研究成果《SAMP：基于自適應混合精度的訓練后量化模型推理庫》成功入選該領域頂級會議 EMNLP 2023，并于新加坡現場展示和分享。f2Y28資訊網——每日最新資訊28at.com

該研究提出了一種名為 SAMP 的推理加速工具，通過自適應混合精度技術，在保持模型性能的同時，顯著提高推理速度。其中包含自適應混合精度編碼器和一系列先進的融合策略。自適應混合精度編碼器可以在大量的通用矩陣乘法（GEMM）運算和 Transformer 層中找到最佳浮點定點混合精度組合方式，使模型推理的性能最貼近用戶需求（計算精度或推理效率）。最終，混合精度計算取得了比全定點計算更好的計算精度。融合策略對 embedding 算子和量化相關計算操作進行融合改進，使得 CUDA 內核調用減少一半。同時，SAMP 是由 C++ 編程語言實現的端到端工具包，具有出色的推理速度，也降低了訓練后量化推理的工業應用門檻。f2Y28資訊網——每日最新資訊28at.com

f2Y28資訊網——每日最新資訊28at.com

表 1：SAMP 與同類系統相比的創新點f2Y28資訊網——每日最新資訊28at.com

SAMP 具有以下幾項主要亮點：f2Y28資訊網——每日最新資訊28at.com

1.自適應。SAMP 在訓練后量化推理方法中平衡計算精度和延遲性能。用戶可以針對不同的任務選擇合適精度和推理延遲的混合精度配置。SAMP 還可通過自適應分配方法推薦給用戶最佳的量化組合模式。f2Y28資訊網——每日最新資訊28at.com

2.推理效率。在較寬的精度范圍（浮點到定點）中，SAMP 顯示出比其他推理工具包更好的推理加速。在中文語言理解測評基準（CLUE）分類任務數據集中，與 FasterTransformer 相比，SAMP 實現了高達 1.05-1.15 倍的加速。f2Y28資訊網——每日最新資訊28at.com

3.靈活性。SAMP 涵蓋眾多下游任務，如分類、序列標記、文本匹配等。Target 模塊是可擴展的并且可以靈活定制。它對用戶友好且對平臺依賴性較低。SAMP 支持 C++ 和 Python API，僅需要 CUDA 11.0 或更高版本即可。另外，SAMP 也提供了許多模型轉換工具，支持不同格式模型之間相互轉換。f2Y28資訊網——每日最新資訊28at.com

f2Y28資訊網——每日最新資訊28at.com

圖 1：該論文在 EMNLP2023 現場展示和分享f2Y28資訊網——每日最新資訊28at.com

主要研究者來自快手的田榮表示，能在模型推理這樣的場景下取得佳績是整個團隊共同努力的結果，SAMP 的貢獻主要在三個方面，首先是解決了現有后量化（PTQ）推理工具在工業應用中精度損失大的問題；第二是推動了后量化（PTQ）技術在 NLP 多個下游任務中大規模使用；同時，該推理庫還有輕量、靈活，對用戶友好的特點并支持用戶自定義任務目標。f2Y28資訊網——每日最新資訊28at.com

據悉，EMNLP（Empirical Methods in Natural Language Processing）是自然語言處理和人工智能領域的頂級國際會議之一，聚焦于自然語言處理技術在各個應用場景的學術研究，尤其重視自然語言處理的實證研究。該會議曾推動了預訓練語言模型、文本挖掘、對話系統、機器翻譯等自然語言處理領域的核心創新，在學術和工業界都有巨大的影響力，此次入選也意味著快手在該領域的研究成果獲得了國際學者的認可。f2Y28資訊網——每日最新資訊28at.com

本文鏈接：http://www.www897cc.com/showinfo-26-46378-0.html快手主導研究成果 SAMP 入選人工智能頂會 EMNLP2023

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： 高效備考利器 三星 Galaxy Tab S9 FE 助你取得期末佳績

下一篇： 何小鵬、林杰入駐快手 成首批汽車“星推官”