石頭智能洗地機A10 Plus體驗：雙向自清潔治好了我的懶癌
一、前言和介紹專為家庭請假懶人而生的石頭科技在近日又帶來了自己的全新旗艦新品，石頭智能洗地機A10 Plus。從這個產品名上就不難看出，這次石頭推出的并不是常見的掃地機器
隨著移動互聯網的普及，越來越多的人開始使用移動端進行音樂創作和錄唱。然而，由于移動設備的硬件和軟件限制，要實現高質量的錄唱體驗，在技術上仍然面臨著許多挑戰。全民 K 歌從 2014 年開始深耕移動端上的錄唱技術，通過多年的技術沉淀，我們建設了一整套的高質量錄唱技術體系，本文將介紹一些關鍵技術指南，包括錄唱時以及錄唱后的編輯相關部分，幫助大家了解如何在移動端實現低延遲錄唱、詞伴對齊、聲伴對齊、耳返、升降調、人聲增強、3A 處理、修音等技術，從而實現高質量的錄唱體驗。
低延遲、高音質打造絲滑錄唱體驗
音樂創作和錄唱已經不再局限于專業錄音室和昂貴的設備，但移動端錄唱面臨著諸如延遲高、錄音品質不穩定等挑戰，全民 K 歌技術團隊為用戶打造了絲滑錄唱體驗，著重優化了以下關鍵方面:
首先，干聲采集參數對于錄唱音質的影響至關重要。為了獲得高質量的干聲，我們需要選擇合適的采樣率、位深、聲道數等參數。此外，合適的錄音設備的選擇和正確的錄制手法也同樣影響到最終采集干聲的效果，全民 K 歌會實時使用算法進行檢測，對于可能存在的問題通過交互給予用戶引導。全民 K 歌技術團隊推薦采用 48kHz、16 位、單聲道進行錄制，采集到的干聲進行雙聲道轉換，重采樣至統一的采樣率以輸出給業務層使用，采集到的干聲還會進行適當的質量檢測如是否為靜音數據、干聲的響度等。
其次，在移動端進行錄唱時，延遲是一個非常敏感的細節體驗問題。低延遲錄唱是指在錄音和播放過程中，聲音信號的錄制和處理時間盡可能短，期望達到人耳無明顯延遲感知的實時傳輸和播放效果。全民 K 歌安卓端采用高性能、低延遲的 OpenSL ES 和 AAudio API 進行錄制，通過優化錄制器的采樣率、位深、緩沖區大小等參數，以滿足低延遲場景的需求，最優可獲得 30-70ms 的錄播延遲，目前處于行業領先。
此外，更高的采樣率可以容納更多的用戶原始歌聲的高頻信息，盡可能保持原有作品的聽感效果。采樣率是錄音設備每秒鐘甚至更短的時間單位內對聲音的采樣次數，全民 K 歌逐步將采樣率提升至 48kHz, 未來計劃支持更高的 96kHz 采樣率，以提升用戶干聲品質。
最后，全民 K 歌在藍牙耳機錄唱的場景中也做了技術提升。藍牙耳機錄制是目前業界相對領先的一項技術，市面上藍牙耳機相對于有線耳機通常有著耳返延遲高的通病，但全民 K 歌通過和硬件廠商深度定制，目前在華為 FreeBuds 藍牙耳機上可以實現耳返延遲在 40ms 以內人耳完全無延遲感的錄唱體驗，同時搭載了耳返音效能力，完全實現了無線極致錄唱體驗；同時和魅藍 Blus K 耳機合作植入了 K 歌音效能力，提升錄唱效果；另外全民 K 歌和 Vivo 藍牙耳機 tws 3e 深度合作，通過自定義協議實現藍牙耳機錄唱的同時，可以在全民 K 歌平臺上對耳返開關、音量大小等參數進行調節設置，提升整個錄唱的體驗。
集合多元技術增強錄唱的細節表現力
全民 K 歌還在整個錄唱環節進行了深度優化，通過收音檢測、詞伴對齊、聲伴對齊等技術，提高了錄唱的精細度，為用戶提供了更加細致的交互體驗，確保錄唱作品的高質量。
收音檢測是指在錄制過程中，通過實時監測錄制聲音的狀態并及時提示，如是否出現爆音、錄制音量的大小、人聲音量是否合適、環境是否嘈雜 (背噪) 等，協助用戶錄制到更高質量的人聲數據，高質量的人聲數據是高質量作品的一個基礎。基于一段時間的 dB 數值的統計以及分析，估算人聲音量或者是爆音的情況，如此可實現結果的一定準確性，且盡可能少的資源占用。基于 MCRA 噪聲預估算法，實現了 0.5 秒數據的背噪預估，配合相關的操作交互，在錄唱中給用戶更好的提示引導。
詞伴對齊是指在錄唱過程中，將歌詞與音樂伴奏進行精確對齊，使得歌詞與伴奏在時間上保持一致。全民 K 歌使用 QRC 格式歌詞，歌詞的每個字都有對應的起始時間和持續時間，通過伴奏的進度實時更新歌詞的進度，保證了歌詞和伴奏的實時同步。全民 K 歌技術團隊也開發一套算法，可校正線上的歌詞和伴奏的對齊精度。
聲伴對齊則是指在人聲和伴奏混合時，對人聲和伴奏的時間進行精確調整，使得它們能夠完美地同步播放。這種對齊技術對錄唱來說非常重要，因為如果人聲和伴奏的時間沒有對齊，就會影響整個演唱的聽感。全民 K 歌基于人聲和伴奏的音頻指紋，以原唱作為參考選擇最佳的 remix 延遲，同時也提供了正負 600ms 范圍的手動調節交互面板供用戶進行精細度調節，達到聽感上的同步。
智能伴唱是指錄唱時，在適當的時候提供伴唱，幫助用戶更好地進入演唱狀態。相比使用原唱，智能伴唱在開頭或者關鍵位置進行伴唱，可以避免用戶唱歌跑調，并且實時分析用戶的聲音，在跑調的時候進行伴唱幫助用戶唱回到原來的調上。全民 K 歌的實現方案是從人聲引出旁路，結合響度和音準信息評估用戶當前的熟練程度，動態調整伴奏和原唱的比例，智能地給用戶進行伴唱引導，輔助用戶更好地完成演唱。
錄唱過程中，通過調整音樂的升降音調來改變聲音的高低。升調是將低音變為高音，降調則是將高音變為低音。這項功能在 K 歌等場景中非常實用，可以幫助用戶更好地適應伴奏的音調，提高演唱效果。通常在伴奏中，同時包含了多種樂器演奏的聲音，不同樂器之間的特性并不相同。在升降調的過程中，類似吉他之類的弦樂需要調整音調，但是類似鼓點的聲音因為沒有音調信息反而需要保持原樣避免處理后變得拖沓。全民 K 歌的實現方案首先會對音樂中瞬態和諧波的分布進行逐幀的分析，只調整諧波的升降，同時保證幀間相位的連續，瞬態信號會只做位置的調整而不進行拉伸，進而保持原有的打擊感。
耳機返聽是一種實時音頻處理技術，可以將錄唱過程中的聲音實時反饋給用戶，通過耳返，用戶可以實時調整自己的音量、音色和節奏，從而提高錄唱質量。目前全民 K 歌安卓的耳返分為兩種，硬件耳返和軟件耳返。其中硬件耳返通過和硬件廠商深度定制，包括華為、榮耀、Oppo、Vivo、三星、小米、一加等硬件耳返，在硬件 HAL 層控制有線耳機錄制到的聲音直接送到耳機端，減少數據從硬件往軟件的步驟，減少耗時，同時在部分硬件廠商 HAL 加入簡單 EQ 實現了硬件耳返上的音效效果；另一種是軟件耳返，即通過軟件層控制錄制器錄入的聲音回傳給 HAL 層，軟件耳返的錄制器包括了 OpenSL ES 和 AAudio, 其中 AAudio 作為內部超低延遲能力，在部分手機上達到 40ms 以內，可以媲美硬件耳返，全民 K 歌的軟件耳返延遲目前也是處于行業領先位置。iOS 端實現的是軟件耳返，耳返的實時性，與錄制數據的回調間隔息息相關，間隔越短才會有更高實時性的耳返。AudioUnit 是目前 iOS 上錄制回調間隔最小的，可達 5ms。通過使用系統提供的 AudioUnit 組件，同時實現「錄」和「播」兩個功能，每錄制到 5ms 數據，便可控制 AudioUnit 立馬進行播放，從而實現僅 17ms 左右延遲的耳返，處于行業領先。
多維打分是全民 K 歌中一套用戶唱歌表現的評價系統，不但包含業界普遍認可的音準打分，更是行業內首創更豐富的多維度打分系統，使用基于原唱模版的有參考自研算法，對用戶唱歌時的氣息、節奏、技巧等緯度進行多角度評價。在此基礎上還持續引入新生技術，創新性地研發了基于神經網絡模型的無參考的歌聲評價系統，對用戶唱歌時的表現做出客觀評價，幫助用戶提升唱歌水平。全民 K 歌首創的有參考 + 無參考的評價體系，已經成為行業領先。
音頻處理技術助力打造高品質音樂作品
在音樂創作領域，音頻處理技術的不斷創新為打造高品質音樂作品提供了強大支持。全民 K 歌技術團隊致力于提升音頻處理的各個方面，為錄唱音樂作品營造注入流暢、自然的音樂效果，增加音樂表現力，助力全民 K 歌用戶創作出更為出色和精致的音樂作品。
3A 處理是音頻數據采集后的預處理，是指自動增益控制 (AGC)、自動噪聲抑制 (ANS) 和自動回聲消除 (AEC) 等三種音頻處理技術。全民 K 歌實現 3A 處理有傳統 DSP 方案和自主研發的神經網絡模型方案。傳統 DSP 方案，是基于經典的 Wiener Filter 架構實現線性回聲消除，同時疊加非線性處理模塊進一步抑制殘余回聲。模型方案是基于全民 K 歌大規模的真實歌聲數據，訓練神經網絡模型來學習唱歌場景下的回聲特征，在最大程度保持歌唱音質的前提下，抑制回采信息，獲得清晰高品質的處理后歌聲數據。ANS 同樣使用 DSP 與 AI 結合的手段實現不同場景下的降噪需求。
錄唱過程中的音效處理是指在錄制歌唱表演時，對聲音進行后期處理，以增強或調整音頻效果。音效處理可以包括添加或消除某些聲音元素，調整音量、人聲均衡、混響等參數，以及進行其他音頻編輯操作。這些處理可以提高音質，使聲音更加豐富、生動和有趣。全民 K 歌預置了涵蓋空間渲染、EQ、Filter、Delay 在內的各類數字效果器，通過服務器下發配置文件動態組合音效處理鏈路。同時全民 K 歌支持真實采樣的脈沖文件來實現卷積混響，營造更為真實的現場體驗。
聲伴比是指人聲和伴奏之間的相對音量比例，是一種衡量音頻系統中人聲和伴奏音樂之間平衡的指標。聲伴比決定了人聲和伴奏在最終混合音頻中的相對清晰度和突出程度。一般來說，較高的聲伴比意味著人聲在混合音頻中較為突出，而較低的聲伴比則意味著伴奏在混合音頻中較為突出。錄唱中，為了更好地幫助用戶更清晰地聽到自己的聲音，同時保持音樂的整體效果，全民 K 歌開發了一套智能聲伴比技術，自動調節和控制錄唱過程中的聲伴比。在作品合成時，通過優化處理鏈路中各環節的增益，保持處理前后人聲的響度不變。同時以原唱中人聲和比例作為參考，動態調節用戶干聲和伴奏 remix 的響度比例。
人聲增強是音頻后處理的一項技術，主要作用是提高錄唱中人聲的清晰度、響亮度和音質，使人聲聽起來更加清晰、明亮和易于聽清。這種技術可以通過濾波、增益、降噪等多種方法來實現，以便在錄制音樂或演唱時使人聲更加突出，同時減少背景噪音或其他音頻元素的干擾。全民 K 歌通過有機組合降噪、多重濾波、多重激勵器，并根據不同的用戶性別、音色等來應用不同的處理參數，對不同用戶實現了適配，提高了用戶的演唱質量。
后期修音是對錄唱作品進行一番調整修飾處理，比如增加響度、提升清晰度、調整音準和節奏等。錄制干聲合成音樂作品時，經常會遇到一些音質、音準、音色等錄唱質量問題，修音技術可以通過對聲音時頻特性分析，并做針對性的檢測和處理，實現對錄唱干聲的音質、旋律、音效等全方位的調整與修正，美化干聲質量與色彩，讓音樂作品更加流暢和自然，聽感更加和諧出色。全民 K 歌通過 MIR 信息分析和獲取用戶干聲多維度特征，使用修音模版對分句、分詞、音準、技巧、效果等多維度參數進行評估和優化，再使用傳統信號處理以及 AI 技術實現對應維度特征的修音處理，同時高度適配原始歌聲旋律走向，最終得到修音后的和諧歌聲。
綜上所述，全民 K 歌歷經近 10 年研發，建設了一套完整的高質量錄唱技術體系，為移動端用戶提供了領先的錄唱體驗，伴隨著軟硬件生態的發展，有效地解決了移動設備錄唱所面臨的獨特技術挑戰。不僅為用戶提供了優質的錄唱工具，讓用戶能夠在移動端輕松享受到高水準的音樂創作和錄制體驗，也為音頻處理領域的技術演進和創新提供了實際案例，為技術的落地運用繪制了更廣闊的發展藍圖。
本文鏈接：http://www.www897cc.com/showinfo-26-71281-0.html全民 K 歌深耕音頻技術，打造移動端高水準錄唱體驗
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號