vivo TWS Air開箱體驗：真輕 臻好聽
在vivo S15系列新機的發布會上，vivo的最新款真無線藍牙耳機vivo TWS Air也一同發布，本次就這款耳機新品給大家帶來一個簡單的分享。外包裝盒上，vivo TWS Air保持了vivo自家產
隨著深度學習模型在自然語言處理等領域的廣泛應用，模型推理速度和性能成為關鍵問題。近日，由快手主導的研究成果《SAMP：基于自適應混合精度的訓練后量化模型推理庫》成功入選該領域頂級會議EMNLP 2023，并于新加坡現場展示和分享。
該研究提出了一種名為SAMP的推理加速工具，通過自適應混合精度技術，在保持模型性能的同時，顯著提高推理速度。其中包含自適應混合精度編碼器和一系列先進的融合策略。自適應混合精度編碼器可以在大量的通用矩陣乘法（GEMM）運算和Transformer層中找到最佳浮點定點混合精度組合方式，使模型推理的性能最貼近用戶需求（計算精度或推理效率）。最終，混合精度計算取得了比全定點計算更好的計算精度。融合策略對embedding算子和量化相關計算操作進行融合改進，使得 CUDA 內核調用減少一半。同時，SAMP是由C++編程語言實現的端到端工具包，具有出色的推理速度，也降低了訓練后量化推理的工業應用門檻。
表1：SAMP與同類系統相比的創新點
SAMP具有以下幾項主要亮點：
1.自適應。SAMP 在訓練后量化推理方法中平衡計算精度和延遲性能。用戶可以針對不同的任務選擇合適精度和推理延遲的混合精度配置。SAMP還可通過自適應分配方法推薦給用戶最佳的量化組合模式。
2.推理效率。在較寬的精度范圍（浮點到定點）中，SAMP 顯示出比其他推理工具包更好的推理加速。在中文語言理解測評基準（CLUE）分類任務數據集中，與FasterTransformer相比，SAMP實現了高達1.05-1.15倍的加速。
3.靈活性。SAMP 涵蓋眾多下游任務，如分類、序列標記、文本匹配等。 Target 模塊是可擴展的并且可以靈活定制。它對用戶友好且對平臺依賴性較低。 SAMP 支持 C++ 和 Python API，僅需要 CUDA 11.0 或更高版本即可。 另外，SAMP也提供了許多模型轉換工具，支持不同格式模型之間相互轉換。
圖1：該論文在EMNLP2023現場展示和分享
主要研究者來自快手的田榮表示，能在模型推理這樣的場景下取得佳績是整個團隊共同努力的結果，SAMP的貢獻主要在三個方面，首先是解決了現有后量化（PTQ）推理工具在工業應用中精度損失大的問題；第二是推動了后量化（PTQ）技術在 NLP 多個下游任務中大規模使用；同時，該推理庫還有輕量、靈活，對用戶友好的特點并支持用戶自定義任務目標。
據悉，EMNLP（Empirical Methods in Natural Language Processing）是自然語言處理和人工智能領域的頂級國際會議之一，聚焦于自然語言處理技術在各個應用場景的學術研究，尤其重視自然語言處理的實證研究。該會議曾推動了預訓練語言模型、文本挖掘、對話系統、機器翻譯等自然語言處理領域的核心創新，在學術和工業界都有巨大的影響力，此次入選也意味著快手在該領域的研究成果獲得了國際學者的認可。
本文鏈接：http://www.www897cc.com/showinfo-16-46387-0.html快手主導研究成果SAMP入選人工智能頂會EMNLP2023
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號