K60 Pro官方停產(chǎn) 第三方瞬間漲價
雖然沒有官方宣布，但Redmi的一些高管也已經(jīng)透露了，Redmi K60 Pro已經(jīng)停產(chǎn)且不會補貨，這一切都是為了即將到來的K60 Ultra鋪路，屬于廠家的正常操作。但有意思的是該機在停產(chǎn)之后
在本屆ICASSP 2024 各類音頻國際挑戰(zhàn)賽中，字節(jié)跳動流媒體音頻團隊聯(lián)合西北工業(yè)大學音頻語音與語言處理研究實驗室，在丟包補償（Packet Loss Concealment， PLC）與音質(zhì)修復（Speech Signal Improvement， SSI）兩個挑戰(zhàn)賽道中，多項指標上表現(xiàn)優(yōu)秀，分別取得第一和第二的成績，達到國際領先水平。
ICASSP峰會上的音頻挑戰(zhàn)賽由國際音頻頂級會議 ICASSP 和微軟聯(lián)合發(fā)起，旨在激發(fā)各研究構在音頻效果與音質(zhì)提升上的研究，自第一屆舉辦以來就吸引了亞馬遜、騰訊、阿里巴巴、百度、快手、中科院、西工大等全球諸多知名企業(yè)和科研院所的參與。隨著流媒體領域技術的不斷發(fā)展，讓聲音聽的清，聽和真，變成音頻技術行業(yè)發(fā)展必然趨勢。圍繞著如何讓用戶有更優(yōu)的音頻體驗，多個研究團隊對音頻從采集到轉發(fā)進行端到端的優(yōu)化，這一過程包含了如何對音頻采集缺陷，算法處理缺陷，編解碼缺陷，網(wǎng)絡傳輸缺陷等進行一體化修復。本屆挑戰(zhàn)賽中，字節(jié)跳動流媒體音頻團隊結合真實的業(yè)務落地場景，參加了丟包補償與通用音質(zhì)修復這兩個挑戰(zhàn)賽道。
ICASSP PLC 挑戰(zhàn)賽旨在解決網(wǎng)絡IP通話中長間隔數(shù)據(jù)包丟失和全帶音頻（48k Hz采樣率）處理的問題。該挑戰(zhàn)具有嚴格的時延限制，同時提供了苛刻的數(shù)據(jù)集來反映不利的網(wǎng)絡條件。主觀評估將使用P.804多維音頻質(zhì)量評估方法進行，同時WER也被用于評估參賽系統(tǒng)生成語音的可懂度。流媒體音頻技術團隊通過對模型結構進行優(yōu)化，有效降低了丟包補償模型的復雜度。同時，通過多判別器對抗訓練與多任務學習，使丟包補償模型可以以高質(zhì)量、高可懂度恢復丟包片段，最終取得第一的成績。
ICASSP SSI 挑戰(zhàn)賽旨在解決通信系統(tǒng)中語音信號面臨的頻率響應失真、不連續(xù)失真、響度失真、噪聲和混響這五類問題。該挑戰(zhàn)賽在嚴格設置模型時延以及因果性的前提下，使用ITU-TP.804標準下的主觀意見分和語音識別率綜合評判名次。流媒體技術團隊使用兩階段模型結構將復雜的修復問題簡化為多個子任務，在第一階段主要修復頻率響應失真、不連續(xù)失真以及響度失真，并進行初步降噪與去混響；在第二階段進一步去除第一階段生成的偽影以及殘余噪聲。最終，團隊在實時賽道取得第二名的成績。
丟包補償系統(tǒng)
為解決48kHz全帶音頻處理復雜度的問題，在丟包補償系統(tǒng)中使用了頻域模型，并根據(jù)頻率將音頻分為0-8kHz，8-24kHz兩個子帶并行處理。將主要計算量集中在對聽感影響更大的0-8kHz頻段，實現(xiàn)了低復雜度、高質(zhì)量的丟包補償。為了應對長間隔丟包問題，在編解碼器每層后添加了時頻擴張卷積模塊(TFDCM)，在保持小尺寸卷積核同時通過時間和頻率維度逐層膨脹的因果擴張卷積捕獲長時歷史信息與頻率相關性。
為了更高質(zhì)量的補償音頻，結合使用頻域多分辨率判別器、時域多周期判別器與MetricGAN，進行生成對抗訓練，使得生成音頻聽感優(yōu)秀。對于長間隔丟包以及可懂度的問題，采用多任務學習框架。除了通常的語音信號相似度學習，還引入了基頻預測與基于whisper的語義理解損失函數(shù)。模型最長能夠以高質(zhì)量恢復超過100ms的丟包片段，且恢復音頻可懂度較高，詞正確率(WAcc)指標領先所有參賽隊伍，總體評估得分并列第一。
丟包補償模型結構示意圖
音質(zhì)修復系統(tǒng)
為了修復同時受多種失真影響的音頻，構建系統(tǒng)中使用了兩階段模型架構，在不同階段著重對不同失真進行處理。一階段模型使用映射（Mapping）的方式直接預測修復后音頻的復數(shù)譜，從而使模型同時具備生成音頻缺失成分與消除干擾信號的能力，同時為了提升模型的長時捕獲信息的能力，在編碼器和解碼器中引入了時頻卷積模塊（Time-Frequency Convlution Module，TFCM）；由于映射法的不穩(wěn)定性，可能產(chǎn)生偽影，因此引入使用掩蔽（Mask）方式的二階段模型，并采用子帶-全帶建模的方式對頻帶進行細粒度建模，從而進一步消除一階段模型生成的偽影與殘余噪聲。
為了提升生成的音頻成分的自然度，引入生成式對抗網(wǎng)絡框架，使用多分辨率判別器、分子帶多分辨率判別器輔助模型進行訓練。同時為了多階段模型在訓練時更容易收斂，首先在降噪和去混響任務上對二階段模型進行預訓練，然后凍結已訓練完成的一階段模型的參數(shù)，并將其與預訓練的二階段模型級聯(lián)進行聯(lián)合訓練，從而加快模型收斂。
音質(zhì)修復模型結構示意圖
團隊介紹
字節(jié)跳動流媒體音頻團隊，致力于提供全球互聯(lián)網(wǎng)范圍內(nèi)高質(zhì)量、低延時的實時音視頻通信能力，幫助開發(fā)者快速構建語音通話、視頻通話、互動直播、轉推直播等豐富場景功能，目前已覆蓋互娛、教育、會議、游戲、汽車、金融、IoT 等實時音視頻互動場景，服務數(shù)億用戶。
本文鏈接：http://www.www897cc.com/showinfo-26-57898-0.htmlICASSP 2024｜字節(jié)跳動流媒體音頻團隊創(chuàng)新方案解決丟包補償、通用音質(zhì)修復問題
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號