聲網(wǎng)鳳鳴AI引擎正式發(fā)布 涉及AI降噪、AI回聲消除等功能
3月23日，聲網(wǎng)正式發(fā)布了囊括AI降噪、AI回聲消除、空間音頻、最佳音效在內的聲網(wǎng)新一代音頻技術(shù)智能引擎。目前，該技術(shù)已經(jīng)廣泛應用在語(yǔ)聊社交、在線(xiàn)K歌、線(xiàn)上會(huì )議、游戲競技、虛擬活動(dòng)等諸多場(chǎng)景。
據介紹，通過(guò)AI驅動(dòng)的方式，聲網(wǎng)打通了音頻采集、前后處理、云端傳輸、編解碼等鏈路。
AI降噪
聲網(wǎng)方面介紹稱(chēng)，相比于傳統的降噪算法，鳳鳴·AI降噪的效果有顯著(zhù)提升，可以一次性解決100+種突發(fā)性噪聲，比如辦公場(chǎng)景經(jīng)常遇到的敲鍵盤(pán)、鼠標點(diǎn)擊、電話(huà)鈴聲；家庭環(huán)境中遇到的小孩哭叫、裝修、廚房做飯聲；戶(hù)外環(huán)境中的風(fēng)聲、雨聲、汽車(chē)噪聲等。
鳳鳴·AI降噪在強降噪的同時(shí)還能兼顧高保真，即使在人聲密集場(chǎng)景下，也能實(shí)現純凈通話(huà)體驗，甚至還實(shí)現了在不增加額外運算量的前提下，對遠場(chǎng)語(yǔ)音具有明顯的混響抑制能力。如果用戶(hù)在一個(gè)房間中距離麥克風(fēng)較遠，這時(shí)候對方聽(tīng)到的聲音是模糊的，若使用了聲網(wǎng)的AI降噪算法，對端也能清晰地聽(tīng)到該用戶(hù)的聲音。
此外，聲網(wǎng)自研的AI推理引擎還可以使得AI降噪算法在A(yíng)ndroid、iOS、Mac、Windows、Web等主流平臺以低精度損傷、高性能、低功耗方式運行，使用戶(hù)的設備不卡不燙。聲網(wǎng)表示，經(jīng)數據測算，僅開(kāi)啟鳳鳴·AI降噪功能，相應設備CPU消耗增幅平均值<1%。
AI回聲消除
回聲是影響音視頻通話(huà)質(zhì)量的主要因素之一，尤其在線(xiàn)上會(huì )議、在線(xiàn)K歌、多人連麥等場(chǎng)景中，不僅損害通話(huà)質(zhì)量，影響用戶(hù)體驗，還可能導致帶寬增加。聲網(wǎng)方面稱(chēng)，鳳鳴·AI回聲消除利用算法對環(huán)境中產(chǎn)生的回聲混響進(jìn)行有效抑制，智能適應各類(lèi)環(huán)境，實(shí)現精準音源分離，從混合的近端信號中消除不必要的遠端信號，保留近端人聲發(fā)送到遠端，全面消除回聲，實(shí)現高保真音頻體驗。比如，在雙人合唱等在線(xiàn)音樂(lè )場(chǎng)景下，AI回聲消除可以使得人聲自然流暢，增益效果顯著(zhù)。
空間音頻
據介紹，鳳鳴·空間音頻通過(guò)純軟件算法方案，模擬頭部球面區域立體聲場(chǎng)，利用范圍音頻、人聲模糊、空氣衰減模擬等能力，模擬現實(shí)聽(tīng)覺(jué)感受。當用戶(hù)操作相應角色在虛擬場(chǎng)景里移動(dòng)，可以實(shí)現根據虛擬人物的面部朝向、音源朝向、遠近距離與上下高度，呈現不同聲音效果。
空間音頻是元宇宙和游戲這類(lèi)具備3D場(chǎng)景玩法的最佳搭檔，如狼人殺、虛擬演唱會(huì )、虛擬活動(dòng)等場(chǎng)景，可以有效的增強用戶(hù)在線(xiàn)上的互動(dòng)、聽(tīng)覺(jué)體驗，重構用戶(hù)在虛擬世界的沉浸感與臨場(chǎng)感。同時(shí)，開(kāi)發(fā)者不必擔心空間音頻功能對于用戶(hù)設備的影響。
聲網(wǎng)方面披露的數據顯示，開(kāi)啟鳳鳴·空間音頻功能后，相應設備CPU消耗增幅平均值<0.7%，內存消耗增幅平均值<2M。
最佳音效
據悉，聲網(wǎng)目前已上線(xiàn)的最佳音效包括語(yǔ)聊社交、K歌、游戲陪玩、專(zhuān)業(yè)主播等場(chǎng)景。
據聲網(wǎng)音頻娛樂(lè )產(chǎn)品負責人楊帆介紹，鳳鳴AI引擎目前正在開(kāi)發(fā)變聲這一功能，用戶(hù)將可以體驗20+變聲風(fēng)格，多樣角色扮演花式玩轉語(yǔ)聊場(chǎng)景。
聲網(wǎng)算法專(zhuān)家許冉指出，鳳鳴AI引擎代表聲網(wǎng)在RTC音頻領(lǐng)域針對核心技術(shù)的長(cháng)期投入和產(chǎn)出，以及聲網(wǎng)基于音頻核心能力衍生出各種復雜功能和高端效果的決心，未來(lái)聲網(wǎng)將基于鳳鳴AI引擎形成新一代RTC音頻解決方案，比如探索更個(gè)性化的語(yǔ)音方案、語(yǔ)音超分、co-experiencing場(chǎng)景等。
音頻社交的下一站在哪兒？
在圓桌討論環(huán)節，仙巴科技創(chuàng )始人兼CEO薛達、揚帆出海創(chuàng )始人兼CEO劉武華、科大訊飛海外解決方案產(chǎn)品部產(chǎn)品總監吳浩亮、聲網(wǎng)產(chǎn)品市場(chǎng)負責人朱超華及聲網(wǎng)音頻娛樂(lè )產(chǎn)品負責人楊帆，共同談及了音頻社交行業(yè)未來(lái)的發(fā)展趨勢。
楊帆指出，音頻社交近幾年的市場(chǎng)規模仍在持續增長(cháng)，依舊有廣闊的發(fā)展空間，總體來(lái)說(shuō)，音頻社交的主要玩法集中在多人語(yǔ)聊房、1V1語(yǔ)聊、語(yǔ)音播客、游戲開(kāi)黑等場(chǎng)景。薛達認為，作為用戶(hù)之間情感的遞進(jìn)紐帶，語(yǔ)音結合虛擬人以及類(lèi)似ChatGPT這樣的大模型，可能未來(lái)會(huì )帶來(lái)一波新的社交熱潮。
在市場(chǎng)火熱的前景下，音頻技術(shù)的提升對行業(yè)來(lái)說(shuō)可謂如虎添翼。正如薛達提到，降噪技術(shù)是實(shí)現元宇宙空間中用戶(hù)體驗的一個(gè)必不可少因素，因為一般娛樂(lè )場(chǎng)景中都會(huì )播放背景音樂(lè )，加上人聲和互動(dòng)音效，如果沒(méi)有空間音頻和降噪，那用戶(hù)體驗會(huì )非常差。吳浩亮認為，聲音是打造差異化社交玩法的一個(gè)重要能力，在社交音頻這個(gè)賽道上，大致分為音視頻直播、音頻內容生態(tài)，以及泛娛樂(lè )音頻三個(gè)類(lèi)型，音頻技術(shù)能力的提升可以有效助力業(yè)務(wù)端提升用戶(hù)體驗。
不僅國內市場(chǎng)火熱，大量出海企業(yè)也押注音頻社交這一賽道且扎堆中東、東南亞市場(chǎng)，劉武華認為中東市場(chǎng)這種大R市場(chǎng)天然契合音頻社交的商業(yè)變現形態(tài)，而東南亞市場(chǎng)年輕用戶(hù)多，社交需求旺盛又熱衷于嘗試新鮮事物，且這兩個(gè)市場(chǎng)已有成熟的產(chǎn)品形態(tài)和產(chǎn)業(yè)鏈。此外，吳浩亮提到，東南亞和中東市場(chǎng)目前還處在快速發(fā)展階段，市場(chǎng)機遇大、用戶(hù)基數大，但還沒(méi)有絕對的寡頭形成，較之前傳統社交類(lèi)型來(lái)講，音頻社交的留存能力也較高，企業(yè)需要在用戶(hù)感興趣的窗口期盡快實(shí)現轉化。
談到音頻社交的未來(lái)趨勢，劉武華表示，社交+游戲、社交+元宇宙、社交+AIGC這幾種玩法有不錯的發(fā)展空間和前景。楊帆也認為，元宇宙方向的場(chǎng)景會(huì )更受年輕人青睞，另外AIGC配合語(yǔ)音轉文字等應用，應該也會(huì )帶來(lái)一波新AI音頻社交熱潮。