杭州都市網

RTE 實時互動作為一種未來數字生活的基礎設施,已經全面深入人們的社交、娛樂、工作、購物等方方面面,并撬動各行各業的價值增長。甚至在當下的 AIGC 熱潮中,實時互動也在扮演重要角色,推動人與 AI 的交互方式從文本升級為音頻、視頻的多模態。

然而實時互動究竟是什么?它是如何從 RTC 實時音視頻演變來的?它背后的技術原理是什么?目前 RTE 已經落地了多少個應用場景?未來在大模型中實現實時語音對話,還存在哪些技術難點?

8月27日,由機械工業出版社出版, 聲網研究院 組編的實時互動行業書籍《讀懂實時互動》正式發售上架,這也是全行業首本系統介紹實時互動的技術型科普圖書。

Granite Asia 高級管理合伙人Jixun Foo、CSDN 創始人兼董事長蔣濤、五源資本創始合伙人劉芹、36氪創始人兼董事長劉成城、清華大學教授李東紅、北京大學教授馬思偉、西北工業大學教授謝磊、IDC中國副總裁兼首席分析師武連峰等聯合力薦。

讀懂實時互動 看這本書就夠了

《讀懂實時互動》全書詳細介紹了實時互動發展的過去、現在與未來,涵蓋實時互動的發展歷程、概念解析、技術原理、應用場景、大數據觀察 等,主要分為五個部分。

· 第一章:回溯與洞察實時互動的過去、現在與未來

從1996年全球第一款可撥打電話的 VoIP 電話誕生,到如今人類可以實現與 AI 的實時語音對話,這中間經歷了哪些場景的進化,技術的升級,企業的創新?從狼人殺、直播連麥、在線教育、互動播客、元宇宙,到今年大火的 AIGC,聲網從底層音視頻服務提供商的角度為大家解析實時互動的技術升級、行業變遷之路。

例如實時互動是如何成為泛娛樂應用的標配功能?在 RTC 功能的加持下,IoT 設備如何實現萬物皆可互動。從1964年視頻會議的概念首次出現,到現在開發者可以在任意 APP 內嵌入視頻會議功能,視頻會議是如何從單一的通信工具升級為一種普適能力。

· 第二章:實時互動與相關概念辨析

總是說 RTC 和 RTE,但是你真的懂兩者間的區別嗎?等等,還有 PaaS、SaaS、IaaS、aPaaS,還在為這些概念分不清楚而絞盡腦汁?

相信讀完這個章節,你會對這些概念有更清楚、明確的認識。

· 第三章:實時音視頻技術流程解析

重頭戲來了,作為一個行業的入門者,這一章是你了解實時音視頻技術的不二之選。從音視頻采集、前處理、編碼、傳輸,再到音視頻后處理,我們聯合聲網的多位技術專家用了較長篇幅、較多筆墨,一一道來。

在本章節,你能看到音視頻前處理中音頻 3A 處理與美聲的最佳實踐;直播與視頻通話等場景中如何實現美顏;VP8、VP9、H.264、H.265 以及 AV1等不同的視頻編解碼標準在 RTC 中的應用有何不同?等等。

· 第四章:深入 剖析近 200個實時互動應用場景

當下,AIGC 產業發展如火如荼,在實時互動的加持下,人與AI 交互也從文字升級為音頻、視頻的多模態,也涌現出許多對話式 AI 場景,比如 AI 語音助手、AI 口語老師、AI 游戲NPC、AI 虛擬戀人等。以AI 語音助手為例,通過多模態大模型+RTC,能夠讓用戶與 AI 助手進行1v1實時語音對話。通過 Prompt AI指令或AI提示詞為助手設置豐富的人設,配合 RTC 的超低延遲傳輸,能夠讓 AI 像真實的助手一樣互動,提供幫助。

在這類對話式 AI 的場景中,存在多個技術難點,例如AI 語音對話通常延遲較高,很影響對話體驗,非常考驗 RTC 傳輸的低延遲,通常延時要做到1-2S內,人機對話的體驗才會自然、流暢。同時,在流式對話中,周圍人聲和噪聲極容易對人機對話造成干擾,需要通過AIVAD、AGC、AINS等音頻功能,有效地抑制周圍噪聲的干擾,并能夠更好地識別用戶說話的完整語義,讓語音識別更加完整準確。

除了新涌現的對話式 AI 場景以及我們耳熟能詳的秀場直播、語聊房、在線K歌等場景,書中還介紹了很多你未曾可知的物聯網場景,比如平行操控領域的云賽車,云賽車基于云計算和人工智能,主要用于愛好者和專業賽車手進行遠程駕駛的賽車比賽。通過云平臺的控制,駕駛員可以在家中就能參與遠程的賽車比賽。

在這類場景中,技術難點主要集中在延時與傳輸方面,例如賽車速度快,對延時要求高,需滿足實時畫面低延時性和傳輸穩定性,同時還需要具備多路高清回傳的技術能力。

· 第五章:實時互動大數據觀察

全球用戶都在實時互動?相信作為一個 APP 運營者,或者關注本行業的同仁,對于實時音視頻大數據,比如,全球熱門區域RTC 用量機型清單、機型常用網絡占比,不同機型對于音視頻的用量占比、熱門區域 RTC 用量等等數據都有所關注。另外,音視頻卡頓率對于用戶使用時長與留存有何影響?該如何優化?這些內容對于一個 RTC 行業從業者都不容錯過。

本書還準備了豐富且實用的配套資源 ,包括與實時互動相關的圖表、圖譜、行業發展報告和白皮書等電子文檔,絕對干貨滿滿,物超所值,具體獲取方式為掃描封底的二維碼進入本書專屬云盤進行下載即可。

《讀懂實時互動》從何而來?

在實時互動產業環境高速進化和使用場景多元化的背景下,聲網發現行業還沒有一本書系統的從發展歷程、應用場景、技術架構等角度全面的介紹實時互動,只有少部分書從技術架構層面去介紹WebRTC,很多人也不知道 RTC 實時音視頻與 RTE 實時互動的關系與區別,因此,全面了解和普及實時互動在當下顯得尤為重要。

今年是聲網成立10周年,聲網作為全球實時互動云行業的開創者,一直以“ 幫助人們跨越距離實時互動,如聚一堂 ” 為使命,致力于通過高質量的實時音視頻技術服務,全面提升人們的實時互動體驗,為社交、教育、金融、醫療等行業賦能,推動經濟、社會的發展。聲網有責任也有義務去推動實時互動的普及。

對此,聲網在10周年之際推出《讀懂實時互動:音視頻技術、場景及數據深度解讀》這本書。本書從發展歷程、技術原理、應用場景、大數據觀察等多個維度 對實時互動展開全面的系統性講解。我們希望讀者通過閱讀本書,能夠深入的讀懂實時互動,并掌握實時互動相關的知識,并推動更多的人群加入到這個行業中來,一起推動行業的進步。

目前,《讀懂實時互動》已登陸京東、當當等各大電商平臺及實體書店,敬請關注。