|
前言:實時音視頻 RTCReal-Time Communication,是新冠疫情黑天鵝事件中快速普及并崛起的技術與行業。資本加碼,爆款應用,讓實時音視頻的想象空間被放大。安全可靠的全球互聯網通信云廠商融云CTO任杰近期接受了媒體采訪,對于RTC技術關鍵點、創新的使用場景有哪些,未來RTC將引爆什么行業,開發者的機會又在哪里,闡述了自己的看法。
融云CTO任杰 RTC的新挑戰 在RTC普及之前,高大上的視頻會議和電視電話會議,需要用到專網和專有硬件。大概在2012年前后,隨著3G、4G網絡的建設和WiFi普及,RTC技術開始進入互聯網。不過,任杰提到,各種手機、PC等設備都開始進入了互聯網的視頻通信領域,設備變得不可控。另外,從專有網絡變成了廣域網和互聯網以及無線網絡、4G網絡,網絡也變得不可控。 “PC不是為了通信這個場景進行的設計,所以在回聲消除、降噪、視頻采集編碼層面都有不同的處理,有很多設備適配、算法的重新適配,大量細碎的功能要去做;手機在無線網絡下,丟包和帶寬會有瞬時變化,這些是新場景下面臨的新問題,我們要重新去解決它,用新算法、新模式去處理它。”任杰說。 2021年初,W3C萬維網聯盟和IETF互聯網工程任務組宣布WebRTC成為官方標準,任杰認為WebRTC被標準化組織接納認可,但并不代表著RTC的技術已經成熟。“一個行業如果在持續爆發和持續高發展階段,我們很難說它的技術是成熟的,因為場景越來越多,運用的設備技術也越來越多。音視頻編碼在不斷變化,新場景下的網絡對抗、機器學習、降噪技術,都在持續井噴的發展過程中。”任杰如是說。 新的技術、場景,也帶來了新的挑戰。任杰總結了四個融云在現階段面臨的RTC挑戰: 1、高清視頻:隨著WiFi和5G等基礎設施的升級,用戶對音視頻質量要求更高,融云會跟隨新的編碼標準去提供高質量、高碼率、高幀率的視頻體驗。 2、語音還原度:傳統算法已經不能滿足現有高質量、高還原度的使用體驗與要求,RTC將與AI結合,研發降噪、提升智能分辨率、提高整體視覺清晰度的技術,這是融云RTC技術研發的一大方向。 3、大量智能設備適配:除了安卓,將有大量實時操作系統RTOS設備進入RTC領域,而這些設備有些配置較低,標準參差不齊,都需要RTC廠商做好適配,保證交互體驗。 4、全球節點部署,服務出海開發者:互聯網市場的人口紅利在逐漸消失,出海開發者的音視頻業務需求量很大,融云在做全球節點的部署,以及更好的調度算法,確保全球任何一個地方、任何一種方式接入,都有優越的音視頻體驗。 RTC的三大創新場景 雖然疫情讓RTC極大普及,但是任杰認為,疫情本身并未創造新的RTC場景,而是推動了音視頻在各類場景和行業落地,加速了RTC發展進程。 他舉例說明,在線教育毫無疑問是疫情中被推動與廣泛落地的RTC場景。除了k12kindergarten through twelfth grade,學前教育至高中教育的縮寫,代指基礎教育的在線課程外,現在素質教育也在向線上遷移。不過與基礎教育不同的是,素質教育涉及經驗的傳遞和指導,是更加個人化的過程,例如音樂、繪畫,過程要求比較高。RTC技術與使用體驗感的提升,將有助于素質教育的在線化進程。 教育的另一個創新場景是在線考試,考試一直是嚴肅的事,過程控制更加嚴格。而因為疫情影響,考試也開始線上化,例如考場設前置攝像頭、后置攝像頭,并全程錄像,方便監督和考試后抽查。 除了教育,任杰提到第二個RTC創新場景將是強互動型與娛樂應用。電商直播、共享電影、線上拍賣、3D虛擬形象的語音社交、在線合唱等等,這些強互動型應用將會越來越多,值得開發者從產品層面發揮想象力。 第三個創新場景在行業應用中,疫情之后需要“無接觸服務”各個行業,包括政府辦事、金融、保險、交通、海關等等領域,都在將辦事、審批服務過程轉向線上,這些也是RTC非常重要的新場景。 當AI遇見RTC 對于RTC和AI、5G等新技術的融合趨勢,任杰分別介紹了AI技術對音視頻領域四類問題的解決辦法。 AI智能降噪。比如在線教育場景下,老師/學生敲擊鍵盤、倒水、咳嗽的聲音,過去的算法對這些非穩態噪音無能為力,而AI技術可以分辨的場景和分辨的噪聲更多,將幫助RTC在降噪方面有較大提升; AI超分處理。在相同帶寬下傳輸的視頻圖像,利用AI技術可以使其在解碼還原后較之前更加清晰; 利用AI技術把不同的視頻場景或者音頻場景分辨與分開。對于靜態場景編碼、清晰度和幀率的控制,對于動態場景下編碼和幀率的控制,用AI技術都可以將其區分開,做不同的處理;以及用AI技術重構帶寬估計的算法。 對于更遠的未來,在全真互聯網時代,任杰表示,音視頻從采集到編碼、傳輸、解碼、渲染、互動的整個過程,將是全真互聯網必須具備的一大塊能力,而RTC有望成為全真互聯網的基礎設施。 |
- 關注天氣:
