經過數年發展,XR設備已經邁過了元宇宙大爆炸的“奇點”,足夠承載元宇宙宏大構想的落地。但元宇宙遠不僅僅是XR,“奇點”之后,元宇宙還在繼續生長。
2022世界人工智能大會(WAIC 2022)上,高通展示的最新無界XR技術和產品被評為鎮館之寶,三名玩家能夠同時在5G連接的無線條件下以1832×1920@90Hz的顯示效果實現沉浸式游戲體驗。使高通的無界XR技術成為“鎮館之寶”的不僅是XR終端設備的性能,還有人工智能和5G連接的“助攻”。
2022世界人工智能大會(WAIC 2022)上,高通展示的最新無界XR技術和產品被評為鎮館之寶,三名玩家能夠同時在5G連接的無線條件下以1832×1920@90Hz的顯示效果實現沉浸式游戲體驗。
使高通的無界XR技術成為“鎮館之寶”的不僅是XR終端設備的性能,還有人工智能和5G連接的“助攻”。
XR設備跨過元宇宙大門
在誕生元宇宙概念的小說《雪崩》中,人們使用虛擬現實設備連入元宇宙世界,并在其間生活。而在現實中,XR設備也是真實世界通往元宇宙世界的大門。
在元宇宙的概念掀起熱潮后,許多廠商紛紛制定了自己的元宇宙戰略。許多廠商的路徑選擇中,極重要的一步就是XR設備。
早在被稱作“VR元年”的2016年,虛擬現實設備就曾火熱一時。Oculus、HTC、索尼等品牌都在那時發布了消費級VR設備。資本也紛紛入場,2016年招商證券研報預計2020年全球VR/AR市場規模將超過1500億美元。
但很長一段時間內,XR設備的發展并不順利。
根據IDC數據,2016年全球XR設備出貨量曾一度同比增長383%,達到904萬部。但這股XR熱潮也迅速消退,2018年全球VR頭顯出貨量由375萬臺下滑至350萬臺,AR眼鏡的出貨量則由45萬臺暴跌至26萬臺,幾乎腰斬,2020年XR市場規模千億美元的目標也沒有達成。
造成這種現象的一部分原因是這些XR設備昂貴且笨重,續航能力不足,加上顯示效果不能令人滿意,內容也十分匱乏,最終導致初代XR設備們曇花一現。
在這諸多的挑戰之中,芯片是一個核心的問題。當時的XR設備只能“蹭”手機芯片用,但手機與XR設備在使用場景存在著比較大的差別,手機芯片并不能很好的覆蓋XR芯片的使用場景。
作為移動領域的芯片龍頭,高通2015年便在XR領域布局,2018年推出了首款專用于XR領域的芯片XR1,隨后又推出了首款支持5G的XR芯片XR2。
圖 搭載了驍龍XR2平臺的Quest2頭顯
驍龍XR2方案支持七路并行攝像頭并且具備計算機視覺專用處理器的XR平臺,顯示單元支持3k×3k@90Hz的單眼分辨率,并支持流傳輸或本地播放8k@60Hz的360度視頻或4K@120Hz視頻,且支持HDR10/HDR10+。
驍龍XR2平臺解決了之前XR設備延遲高、移動性差、分辨率差等問題,使得XR設備性能跨過了元宇宙的準入門檻,并引領了XR設備的普及化。
2020年FaceBook發布基于驍龍XR2平臺的Oculus Quest2,成為了XR領域第一款現象級的爆品,該設備在2021年的銷量超過了Xbox,XR設備再次迎來快速增長。
目前Pico、Meta等元宇宙頭部玩家都已經在XR設備均采用了驍龍XR2芯片。HTC也被爆料即將推出基于驍龍XR2平臺的Vive頭顯。高通基于XR2芯片的參考設計,也讓更多廠商能夠更輕松地基于XR2芯片打造自己的XR設備。
隨著XR設備的進步和普及,我們已經跨過了元宇宙的準入門檻。但這對于元宇宙來說,僅僅是大爆炸的“奇點”,要實現元宇宙最終的宏大愿景,還需要在內容和交互上繼續建設。
“奇點”之后,AI播種生機
高通公司總裁兼CEO安蒙曾在WAIC 2022的主題演講上表示,元宇宙是互聯網的未來,即空間互聯網。
空間互聯網與當前的互聯網最大的不同是能夠提供更具沉浸感的體驗。在當前的2D互聯網時代主要的互動方式是2D平面的文字、圖片和視頻內容,而元宇宙則能讓人們親身參與其中。
元宇宙將視覺體驗從第三人稱平面升級到第一人稱3D視角,讓人們獲得更豐富的信息,并且擴寬了交互的邊界,提供了觸覺等新的交互方式。
為了支撐新的交互方式,更高精度的環境模型,更逼真的虛擬形象,更真實的互動反饋都必不可少。
為了讓更多的開發者參與進來,利用人工智能構建場景更豐富,讓用戶體驗更好的元宇宙世界,高通已經建立了Snapdragon Spaces XR開發者平臺。
Snapdragon Spaces XR開發者平臺為開發者提供了一套獨立于設備制造商的AR功能規范,并且與2017年制定的Khronos OpenXR標準兼容,讓開發者能夠輕松完成可移植性應用程序開發。
除此之外,在創造元宇宙內容的過程中,人工智能在多個領域發揮著重要作用:元宇宙需要學習并適應不斷變化的環境和用戶偏好,以提高用戶在元宇宙虛擬環境中的體驗感;支持深度感知的計算攝影和計算機視覺技術將完成對手部、眼球和位置的追蹤,并擁有理解和感知情境的能力,為虛擬形象與環境的互動提供技術支持。
如今,已經跨過元宇宙XR設備門檻的廠商們也已經將注意力放到了人工智能上。但要想在元宇宙中利用人工智能,開發者們需要投入更多精力。
對AI開發者們來說,元宇宙是一個全新的場景。
不同場景下,人工智能設備的功耗需求、人工智能模型類型、模型部署方式都有所不同。對模型的準確性、功耗和延時的要求也不盡相同,在某個領域中人工智能的部署經驗并不能簡單復用到另一領域。元宇宙中大量新場景的出現,對開發者來說意味著更加繁雜的工作。
高通在手機芯片領域深耕多年,歷經十多年研究并不斷開發人工智能相關產品,已經成為了終端智能領域的領軍者。
為了將開發者從反復的適配工作中解放出來,高通建立了讓人工智能開發工作“書同軌,車同文”的AI軟件棧。
基于高通的AI軟件棧,開發者們不再需要為不同場景“量體裁衣”,而是只需要一次開發,就可以將成果部署到各個領域,這大大減少了開發者的工作量,加速人工智能在元宇宙新場景中的部署。
為了推進元宇宙的發展,高通還設立了1億美元驍龍元宇宙基金,用于投資打造與XR體驗相關AI核心技術的開發者和企業。人工智能要在元宇宙中落地,還需要一座連接用戶、邊緣和云端的橋梁。
5G建起“數字高架”,AI從云端走向萬物
AI的作用在元宇宙中,不止于“無所不能”,還要“無處不在”。
一方面,元宇宙運行中會產生海量數據,而云端則無法承受如此龐大的數據量。依賴部署在云端的人工智能處理這些數據的方案可行性不高。
另一方面,元宇宙作為交互程度更高的下一代互聯網,人們在元宇宙中遨游的同時,個人隱私和信息安全也十分重要。
端、邊云協同的分布式結構能夠解決元宇宙當前面臨的這些痛點。
首先,在元宇宙中,大量情境豐富的數據由邊緣產生,擴展至邊緣的AI能夠在邊緣“就近處理”,無需將數據集中至云端,這大大減輕了云端的壓力。
圖 5G支持下實現的分布式智能
其次,在終端側部署人工智能可以讓用戶在終端處理敏感數據,而不必將這些數據發送至云端,從而更好地保護使用者隱私。并且部署在終端的人工智能還能夠偵測惡意軟件和可疑行為,為用戶的信息安全提供保障。
部署在終端的人工智能還能夠利用聯邦學習等新技術更高效地利用有限的網絡資源和帶寬,提高數據處理的效果。
分布式AI對元宇宙來說必不可少,而5G則是其不可缺少的助推器。
一份來自Gartner的報告曾指出,5G是推動分布式人工智能發展的重要因素。
5G與分布式部署的人工智能、功能強大的XR設備結合,誕生了目前XR用戶體驗的無界XR。
無界XR的頭顯終端執行節能的優化時延算法以及眼球追蹤、手勢追蹤、頭部追蹤等工作,更復雜的工作通過5G網絡傳輸至邊緣處理。
這讓XR設備的設計不再受功耗、散熱等方面的限制,設計者可以將XR設備設計的更加輕便易用,邊緣比終端更強大的算力也能夠為更豐富的內容提供算力支持。
實現無界XR運行的難點在于延時和吞吐量這兩個關鍵性能指標?;谀壳暗腣R頭顯硬件能力,要實現單目2Kx2K@90fps的VR頭顯實現5G無界XR的規?;渴穑?ldquo;動作-渲染-顯示”的延時需要低于70毫秒,其中5G在終端和邊緣端的往返時延需低于20毫秒。吞吐量上,則需要網絡連接支持70~90Mbs的穩定下行吞吐量。
高通作為5G的領軍企業之一,已經成功將自身在5G方案上的經驗與XR設備、AI上的優勢相結合,實現了無界XR優質的用戶體驗。
而WAIC 2022期間,高通公司、中國移動和中赫集團合作展示的無界XR技術被評為鎮館之寶。
圖 WAIC上高通演示現場,三名玩家體驗無界XR
演示現場用當紅齊天提供的互動內容展示了在端到端的分離渲染架構下,無界XR利用5G提供的高速率低延時傳輸協同邊緣云側進行實時渲染,并結合XR終端側的本地優化渲染來提供低延時的沉浸體驗。
該演示采用了基于高通驍龍VR2平臺的愛奇藝奇遇 Dream Pro VR一體機,在演示中支持了三名體驗者同時以1832×1920@90Hz的顯示效果進行體驗,細膩流暢的顯示效果已經可以達到人們對元宇宙體驗的想象。
世炬研發的基于高通FSM100 5G RAN平臺的5G家庭小基站則為該VR頭顯提供了強大的網絡保障。在演示中,三名玩家所佩戴設備的5G RTT時延都保持在20毫秒左右,已經能夠元宇宙場景下日常使用。
圖 基于5G切片的端邊協同分離渲染技術能夠實現下行速率吞吐量均在100Mbps左右
如今,XR設備已經跨過了元宇宙的門檻,而在頭部玩家的推動下,人工智能和5G連接進一步的融合發展使元宇宙也不斷生長,我們距離元宇宙的未來,已經愈來愈近。