近日,奇富科技在自然語言處理領域取得了突破性進展,其最新研究成果PrAd被國際頂級學術會議EMNLP 2025 Findings接納發表。這一成就標志著中國科技企業在大模型高效參數微調技術上獲得了國際學術界的廣泛認可。
EMNLP,即自然語言處理領域的經驗方法會議,與ACL和NAACL并列為NLP領域的三大頂級盛會。因其嚴格的評審流程和低錄取率,EMNLP成為了全球NLP研究者展示研究成果和交流思想的重要舞臺。奇富科技此番研究成果的入選,彰顯了公司在人工智能基礎研究和創新技術方面的卓越實力。
隨著大語言模型在多個業務場景中的廣泛應用,如何高效且低成本地實現多任務適配成為了行業亟待解決的關鍵問題。傳統的全參數微調方法雖然效果顯著,但伴隨著高昂的計算和存儲成本。而現有的參數高效微調方法,如Prompt Tuning和Adapter Tuning,又面臨著訓練不穩定、推理延遲高以及序列膨脹等挑戰。
為應對這些難題,奇富科技的研究團隊開創性地提出了一種針對Decoder-only架構大模型的高效微調框架——PrAd。該框架通過深度結合結構優化與推理流程,僅在預填充階段引入輕量級Adapter模塊對提示進行特征變換,而在解碼階段則保持原始結構不變,避免了任何額外的計算開銷。
PrAd框架在多個方面實現了顯著的提升。首先,在訓練效率方面,PrAd不增加輸入長度,初始化過程簡單,訓練穩定性強,其效果甚至超越了主流基線方法。其次,在推理效率上,PrAd僅在生成第一個token時帶來微小的延遲,后續的解碼過程不增加任何額外開銷,且支持多任務共享批推理。實驗數據顯示,在多任務場景下,PrAd的推理速度較LoRA提升了最高超過10倍。PrAd還大幅降低了運維成本,Adapter管理規模和顯存占用減少了50%,簡化了多任務模型的部署與批量推理流程。
實驗結果表明,PrAd在六項多樣化的NLP任務上均取得了與最優方法相當或更優的表現,同時在推理效率和資源利用率方面展現出明顯優勢。這一特點使其特別適用于金融領域常見的多任務、高并發、低延遲應用場景。奇富科技首席算法科學家費浩峻強調:“PrAd不僅是一項重大的技術突破,更是奇富科技‘科技賦能金融’理念的具體實踐。我們致力于推動大模型在金融場景中的高效、可靠和規模化應用,為客戶提供更優質的服務。”
舉報 0收藏 0打賞 0評論 0分享 0 更多>同類資訊
算力產業邁向高質量,布局政策體系持續完善促發展“國家正按照‘點、鏈、網、面’體系化推進全國一體化算力網絡工作,通過推動優化算力布局、強化技術協同創新、適度超前建設網絡設施、豐富算力應用場景,持續提升算網綜合供給能力。”浪潮云海首席科學家張東說,算力進入…08-27
85后科學家企業家陳天石:寒武紀股價飆升,身價突破1500億公開資料顯示,陳天石目前持有寒武紀 29.63% 的股份,按最新股價計算,其持股市值已達 1541 億元,成為我國又一位千億級別富豪。為保持技術領先,寒武紀于今年 5 月宣布,計劃在未來三年投入 45 億…08-27值得買科技2025上半年財報:營收下滑但凈利潤大增,UGC與AIGC內容雙增長08-27百度AI智能云Q2營收65億,同比增速達27%,智能云業務成增長亮點08-27
國聯股份等巨頭廣州聯手,跨境智運新公司成立,注冊資本達千萬08-27
IOTE深圳物聯網展明日啟幕,AI+IoT全產業鏈年度盛會邀您共襄盛舉9-12號館即將全線開放,匯聚全球物聯網產業鏈從感知、傳輸、平臺到應用等環節的龍頭企業和新銳企業,集中展現物聯網產業的前沿科技與創新應用。8月27–29日,IOTE 2024 國際物聯網展 · 深圳站與A…08-26
上海交通大學與螞蟻集團聯手,安全AI科技獲上海市科技進步一等獎項目主要完成人、螞蟻安全實驗室首席科學家王維強表示:“在國家網絡安全戰略指引下,螞蟻集團通過產學研合作研發了包括隱晦推理、AIGC識別等核心技術構建互聯網信息安全智能治理體系,既為海量創作者提供安全可信的創…08-26
中國電信欒曉維:云網智融戰略引領,賦能百業轉型新篇章在主論壇上,中國電信集團有限公司副總經理欒曉維發表題為《云網智融,賦能百業》的主旨演講,分享了中國電信在基礎設施升級、智能云體系建設、AI普惠向善方面的實踐成果。 在此次大會上,中國電信發布了人工智能算力優化…08-26
智慧農業云平臺:以數據為翼,引領農業精準決策新時代智慧農業云平臺能根據土壤實時墑情、未來天氣預報和作物需水規律,自動計算出最佳灌溉時間與水量,實現按需供水,節水效率提升可達30%以上。云飛科技近年來在農業物聯網與云平臺研發方面持續投入,其推出的智能監測設備與…08-26
5G-A至6G躍遷:中國AI大模型引領全球通信新篇章啵特叮咚有限公司在 6G 技術預研上布局量子通信、太赫茲通信和空天地一體化網絡架構,其 “通信認知大模型”具備多模態業務識別、網絡自愈與優化、能耗動態調節等能力,在多地測試中效果顯著。 啵特叮咚有限公司的 …08-26
王國棟院士:人工智能引領鋼鐵行業轉型升級,邁向綠色未來王國棟舉例說,鐵前系統全面應用煉鐵大數據與人工智能,面向“料場、燒結、球團、高爐、能源”等關鍵環節,建立實時監測與智能感知系統,開發高爐關鍵參數預測和多目標優化模型,實現全過程精細化調控,實現節能降碳、降本增…08-26
蘋果推出RLCF技術:以大模型為導師,強化小模型復雜指令執行能力IT之家注:RLCF 的全稱為 Reinforcement Learning from ChecklistFeedback,不同于傳統的“人類反饋強化學習”(RLHF)依賴人工點贊 / 點踩,RLCF 為…08-26
釘釘十周年:AI釘釘1.0及首款硬件產品DingTalk A1重磅發布單看概念或許有點抽象,其實不難理解,在發布會現場,無招就用“奏折”來做比喻,AI釘釘就像是用戶的專屬秘書,將一切與工作相關的信息與任務進行分析和整理,然后根據重要性排序,最終像信息流一樣呈現在用戶的面前。 …08-26科大訊飛融資凈買入超7千萬,近三日融資買入額持續高企8月25日,滬深兩融數據顯示,科大訊飛獲融資買入額6.80億元,居兩市第42位,當日融資償還額6.07億元,凈買入7378.21萬元。 最近三個交易日,21日-25日,科大訊飛分別獲融資買入6.33億元、7.…08-26科大訊飛半年報:AI紅利助業務高增長,實控人定增彰顯信心AI紅利驅動各業務線健康成長 1)智慧教育業務25H1收入35.3億元,同比+23.5%,其中AI學習機上半年收入繼續保持翻番增長。4)企業AI解決方案25H1收入4.4億元,同比+349.9%,公司正在加…08-26點擊查看更多 +全站最新
勞斯萊斯閃靈電動跑車新款發布:Primavera靈感版,花卉主題盡顯奢華
vivo Y500新機9月1日來襲:超長續航與金標五星抗摔成亮點
算力產業邁向高質量,布局政策體系持續完善促發展
iPhone 17 Air新爆料:為續航棄高通基帶,搭載自研C1,電池容量僅2800mAh
揭秘:中國移動免費流量卡真相,零成本無限上網是夢嗎?
AirPods換新手機連不上?別急,重置一下輕松搞定!熱門內容
算力產業邁向高質量,布局政策體系持續完善促發展
85后科學家企業家陳天石:寒武紀股價飆升,身價突破1500億
國聯股份等巨頭廣州聯手,跨境智運新公司成立,注冊資本達千萬
IOTE深圳物聯網展明日啟幕,AI+IoT全產業鏈年度盛會邀您共襄盛舉
上海交通大學與螞蟻集團聯手,安全AI科技獲上海市科技進步一等獎
中國電信欒曉維:云網智融戰略引領,賦能百業轉型新篇章
本文鏈接:http://www.www897cc.com/showinfo-45-26923-0.html奇富科技PrAd框架:大模型微調新方案,入選NLP頂級會議EMNLP 2025
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com