華為的AI智能降噪通話技術可以極大消除用戶打電話時的背景噪音甚至是他人說話聲音,使機主的聲音更加清晰地傳遞給對方。
AI智能降噪通話技術突破了傳統手機通話降噪技術限制,即使面對酒吧、KTV等高噪音環境,也能動態、自適應識別區分通話聲音和背景噪音,然后將通話聲音修復并增強、將背景噪音壓制甚至剔除,得到近乎不受干擾的通話質量。
俗話說:“荊條編小籃,看著容易做著難。”要想在瞬間完成相關信號處理、不影響實時通話,背后是華為沉積多年的硬件設計、軟件編程、大模型進化、算法改進等科研成果共同作用的結果,是當之無愧的黑科技。
最難得的是,按照華為的作風,這一切應該都是華為自研并擁有自主知識產權的,是咱們中國企業獨立自主的科技成果。
特別是在索尼、三星等公司均有類似的智能降噪功能時,華為還有前期不求回報,為聲障人士所首創的AI聲音修復功能。這項功能在后期修復聲音、提高通話質量上起到重要作用,是華為這個有社會責任感的公司做善事的福報。
正應了那句話:“但行好事,莫問前程”。
目錄:
1.傳統手機降噪功能與缺陷。
2.前端技術:通話聲音與背景噪音的區分與篩選
3.后端技術:華為默默做的善事——小藝AI聲音修復功能
4.技術難點
結束語:《華為基本法》的又一次勝利。
正文:
一、傳統手機降噪功能與缺陷
不知道大家有沒有注意,除了手機下面有一個話筒,也就是主麥克風,我們的手機上面一般還有一個洞,這個洞就是手機上的降噪麥克風。
來源見圖片底部
手機下面的麥克風為通話麥克風,也是主麥克風,可以同時收集人聲和背景噪音。
而另一個配置在機身頂端或者背部的麥克風,也就是降噪麥克風,相對主麥克風相比,距離通話者的嘴巴比較遠,可以收集較弱的人聲。
同時,由于背景噪音的聲源與兩個麥克風的距離差不多,因此降噪麥克風可以收集到和主麥克風近乎同樣的背景噪音。
通過對比主麥克風和降噪麥克風的聲音,可以剔除近乎同樣的背景噪音,這樣通話聲音就可以被挑選出來并增強。
在AI智能降噪技術應用之前,雙麥克風降噪是大規模應用最普遍的降噪技術。
同時它也有一些難以解決的缺陷,比如風噪場景、高頻高分貝噪音、遠距離拾音,兩個麥克風采集的聲音差不多,降噪效果不明顯、通話效果不理想。
二、前端技術:通話聲音與背景噪音的區分與篩選
不滿意、不滿足,努力進取、再攀高峰是人類科技不斷進步的原動力。
面對雙麥降噪的缺陷,工程師們又發明了新的AI智能降噪技術。
1.前端:多麥克風組成相控陣
工程師們增加了拾音麥克風的數量,(華為Mate70 pro+有3個拾音話筒),并組成簡易相控陣,通過DBF(數字波束合成)技術,對通話聲音源頭方向傳來的信號重點篩選,準確捕獲嘈雜噪音中的通話聲音,達到捕捉人聲、抑制噪音的功能。
2.中端:NPU以及自研DynaCo算法共同作用
NPU是一種專門用于處理深度學習任務的硬件加速器,能夠提供強大的算力支持,使得復雜的AI模型能夠在移動設備上高效運行。
NPU這個人工智能的關鍵設備在很多新設備上都在應用,難得的是華為還有自研的DynaCo算法與之配合。
雖然華為自研的DynaCo算法未在公開資料中詳細說明,但根據現有信息推測,DynaCo算法很可能是一種基于深度學習的音頻處理算法,通過大量數據訓練來優化聲音信號處理,準確識別用戶聲音并抑制環境噪聲。
三、后端:華為默默做的善事——小藝AI聲音修復功能
事實上,只有聽力障礙的人是可以說話的,但是由于聽不到自己和外界的聲音,他們只能靠著模擬口型,甚至摸著自己和老師的喉嚨,靠著感受聲帶的震動練習說話,無法很好修正自己的發音。
還有一些人是發聲器官或者神經受到了損傷,比如聲帶受損,他們的聲音也不太容易被人聽懂。
比較著名的就是《流浪地球2》李雪健老師,他由于疾病無法正常發音,除了那句振聾發聵的“點火”是他的原聲,劇中的其他聲音都是由他本人的聲音修復的。
從工程技術上來講,前期在進行通話聲音與背景噪音區分時,由于背景噪音與通話聲音動態交雜在一起,不可避免影響篩選出來的通話聲音的光滑度、連貫性,比如失真、斷續、沉悶,需要對通話聲音進行修復。
這時華為前期投入巨資、免費為聲障人士研究的小藝AI語音修復功能就派上了用場。
AI語音修復功能能夠顯著提升語音的發音清晰度,即使在發音不清晰、口音較重或語速過快的情況下,也能通過深度學習和自然語言處理技術進行有效修復。
對于言語障礙者來說,這項功能是一項非常實用的輔助工具,能夠幫助他們克服交流障礙,更好地融入社會。
對于手機通話信號處理來說,這項功能可以極大修正篩選后通話語音的完整性、連貫性和光滑度,確保通話對象聽到我們的聲音是高度還原、連續穩定的。
華為前期不計成本為殘障人士開發的功能,如今又用在了自己的尖端產品上,可以說這是華為公司有社會感、做善事的福報。
四、技術難點
AI智能降噪通話功能不是應用在聲音的后期處理,不是慢慢地對已有的聲音文件進行篩選、修復,而是應用在實時通話中。
如果處理時間長,通話對方會有非常強的延遲感,降低了通話感受,所以對該技術的時效性提出了非常強的要求。
如果處理效果差, 對方聽通話者的聲音就會沉悶、機械、斷續、失真,所以對該技術的穩定性提出了非常強的要求。
俗話說:“荊條編小籃,看著容易做著難。”簡單的幾個字“AI智能降噪通話”后面,是華為沉積多年的硬件設計、軟件編程、大模型進化、算法改進等科研成果共同作用的結果,是當之無愧的黑科技。
最難得的,按照華為的作為,這一切應該都是都是自研并擁有自主知識產權的,是咱們中國企業獨立自主的科技成果。
目前該功能只在華為 Mate 60、Mate70、Pura70、Pura X系列手機上有應用,但是后期會在更多移動終端上開花結果。