“元宇宙（Metaverse）”無疑是2021年最熱門科技話題之一。從臉書的扎克伯格全面轉(zhuǎn)向元宇宙產(chǎn)業(yè)，到國內(nèi)各大互聯(lián)網(wǎng)公司紛紛布局元宇宙板塊，再到游戲、社交、AR/VR、區(qū)塊鏈等只要跟元宇宙沾上一點(diǎn)邊的上市公司在股票市場(chǎng)一路高歌猛進(jìn)……2021年，“元宇宙”可謂火遍全球。

那么，元宇宙究竟是一種什么樣的技術(shù)?元宇宙的到來會(huì)對(duì)我們普通大眾的生活產(chǎn)生什么樣的影響?元宇宙是否最終能夠?qū)崿F(xiàn)？它到底離我們有多遠(yuǎn)?帶著這些問題，今天一起來聊一聊。

實(shí)際上，元宇宙并非一項(xiàng)單一的新技術(shù)。“元宇宙”這個(gè)詞，更多地代表一種新的技術(shù)概念與方向。

虛實(shí)聯(lián)動(dòng)的交互體驗(yàn)，將引爆什么？

簡(jiǎn)單來說，元宇宙可以被認(rèn)為是一種新的互聯(lián)網(wǎng)技術(shù)框架，強(qiáng)調(diào)面向虛實(shí)融合的沉浸式交互體驗(yàn)。

目前的互聯(lián)網(wǎng)體系，基本上是“虛”、“實(shí)”二元性的。

互聯(lián)網(wǎng)上的某個(gè)數(shù)字化的元素，實(shí)際上是現(xiàn)實(shí)世界中某個(gè)實(shí)體元素的簡(jiǎn)單抽象。如何理解這句話？舉個(gè)例子，大家都已習(xí)慣線上購物。當(dāng)我們?cè)诨瑒?dòng)智能手機(jī)上的購物頁面時(shí)，實(shí)際上，每個(gè)商品的圖標(biāo)就是現(xiàn)實(shí)中供貨商貨架上所對(duì)應(yīng)的實(shí)體貨品的符號(hào)表示。當(dāng)然，這只是一種簡(jiǎn)單的表示，它并不具備現(xiàn)實(shí)世界中所對(duì)應(yīng)商品的豐富的物理屬性，如3D形狀、表面質(zhì)感、氣味、重量等。所以說，虛擬、現(xiàn)實(shí)這二元世界是被割裂的。

這種二元性，帶來了人們?cè)诮换ンw驗(yàn)上的極大不適。

假設(shè)我想買個(gè)書桌，如果去實(shí)體店挑選，我一定會(huì)從各個(gè)角度好好觀察這個(gè)書桌是否滿足自己的審美，我會(huì)拉開抽屜看看里面是什么樣子，摸一摸桌面是光滑還是粗糙，甚至想看看它如果放在我的書房，會(huì)是什么樣的感覺。然而，這些基本而重要的用戶感官體驗(yàn)，在當(dāng)前的互聯(lián)網(wǎng)應(yīng)用中多數(shù)無法實(shí)現(xiàn)。文字、圖片等符號(hào)信息并不能很好地代表用戶對(duì)背后的物理實(shí)體的具體感知與理解。從這個(gè)角度講，元宇宙技術(shù)，其實(shí)就是在虛擬世界中“再造”一個(gè)物理世界實(shí)體的深度拷貝，使其盡可能地具備現(xiàn)實(shí)世界中所對(duì)應(yīng)實(shí)物的具體屬性，比如3D形狀、顏色、紋理、行為等（如果未來技術(shù)成熟，可能連觸感、嗅感都可以真實(shí)復(fù)現(xiàn)）。

更重要的是，在元宇宙中，同一個(gè)實(shí)例在現(xiàn)實(shí)與虛擬世界中是高度聯(lián)動(dòng)的。

比如，作為用戶的你可以在虛擬世界建立你的3D人物形象，包括容貌、體型、語言習(xí)慣、動(dòng)作習(xí)慣等；你在真實(shí)世界做出什么動(dòng)作、說什么話，在元宇宙中，你的虛擬形象也會(huì)同步做一樣的動(dòng)作、說一樣的話。換言之，作為主體的你，不再是以一個(gè)“旁觀者”的角色，而是作為一個(gè)主角（在游戲中，我們稱為“第一人稱”）“代入”到虛擬世界的各種交互之中。

更進(jìn)一步，虛擬世界中的各種人物、物品、場(chǎng)所等，可以無縫地與真實(shí)世界中的對(duì)應(yīng)實(shí)體融合在一起，達(dá)到虛實(shí)融合、沉浸交互的效果。

元宇宙作為這樣一種新型互聯(lián)網(wǎng)的運(yùn)營(yíng)者，在管理形式上也不再區(qū)分實(shí)體與虛體，而是“二元合一”的運(yùn)行模式，其所能帶來的體驗(yàn)提升確實(shí)能給人類帶來無限遐想。

試想，如果能夠?qū)⒋蠖鄶?shù)物理世界的實(shí)體復(fù)制一個(gè)在虛擬世界中可以被交互的虛擬拷貝，那么，目前人類大多數(shù)的生產(chǎn)生活活動(dòng)，都可以在元宇宙的世界中毫無障礙地運(yùn)行。因此，元宇宙也可以被認(rèn)為是一種新的支持社交、娛樂、交易、辦公、生產(chǎn)、創(chuàng)作、生活的虛擬平臺(tái)。

真實(shí)世界的小明，如何在元宇宙中度過一天？

現(xiàn)在，我們可以大膽構(gòu)想一下一個(gè)普通上班族在元宇宙中的一天。

小明是一家跨國汽車公司的產(chǎn)品設(shè)計(jì)經(jīng)理。早上，小明來到公司會(huì)議室，召開每天例行的工作進(jìn)度交流會(huì)。當(dāng)他帶上AR眼鏡后，在全世界其他辦公地點(diǎn)的同事已經(jīng)把小小的會(huì)議室“擠得滿滿的”（與會(huì)者的3D虛擬形象已經(jīng)和會(huì)議室場(chǎng)景融合）。大家熱烈討論，不時(shí)通過語言、肢體動(dòng)作表達(dá)自己的立場(chǎng)、觀點(diǎn)、主意。在會(huì)議室中間的工作臺(tái)上，正展示著3D設(shè)計(jì)方案，設(shè)計(jì)師們通過簡(jiǎn)單的手勢(shì)交互，不斷調(diào)整著產(chǎn)品的設(shè)計(jì)細(xì)節(jié)——從顏色到局部的形狀，不斷被優(yōu)化且設(shè)計(jì)結(jié)果能實(shí)時(shí)呈現(xiàn)在虛擬世界中。終于，方案敲定了，只要一鍵傳輸，就能發(fā)送至加工單位進(jìn)行打樣。

散會(huì)后，稍感疲憊的小明來到自己的辦公室，接著帶上一個(gè)VR頭盔，選擇了一個(gè)秘密花園的場(chǎng)景，想讓自己放松一下。瞬間，他“來到”了一個(gè)陽光明媚、草綠花紅的寂靜花園中。環(huán)顧四周，看看這些美麗的花朵，毫無疑問，他的心情得到了些許治愈。很多人都幻想過這樣的情景，就是從現(xiàn)在的世界“跳”出去，來到一個(gè)世外桃源去清靜一下，哪怕1分鐘也好。元宇宙的技術(shù)，就給每個(gè)人打開了平行宇宙的大門，在單一物理宇宙中受限的種種可能，在平行宇宙中都可以找到相應(yīng)的可以飛翔的翅膀。

當(dāng)然，元宇宙世界的想象力是不受物理世界約束的。

可以想象，在小明的寂靜花園中，在高高低低的各色植物枝頭所掛著的，可能不是果實(shí)，而是各種各樣的商品；小明可以在花園中，隨意“選購”今天晚上要吃的東西、零食，一鍵支付。甚至，小明可以在某個(gè)枝頭，取下并“試穿”自己喜愛的衣服，一鍵切換到第三人稱視角觀賞自己穿上新衣服的樣子，決定買不買。當(dāng)然，晚上小明下班時(shí)，所有在元宇宙中購買的商品，其實(shí)體產(chǎn)品早已快遞至家中了。

作為大眾，我們可以期待元宇宙即將給生活生產(chǎn)方式帶來的深遠(yuǎn)影響。

沉浸式的體驗(yàn)，將大大降低人與人、人與社群之間的溝通交流成本，縮短時(shí)空的距離。試想，如果人類絕大多數(shù)工作、會(huì)議可以在虛擬的、沉浸式的會(huì)場(chǎng)進(jìn)行、那么全世界每年可以節(jié)省多少汽車和飛機(jī)的燃料使用與碳排放？！

由于萬物皆可在元宇宙找到對(duì)應(yīng)的數(shù)字拷貝，溝通的邊界也因此被打破。在虛擬世界中，你可以跟你的寵物，甚至是毫無生命的物品進(jìn)行擬人式的互動(dòng)，生命的形式或許也能得到外延。對(duì)于設(shè)計(jì)、創(chuàng)造類的工作來說，在虛擬世界中，創(chuàng)作和生產(chǎn)效能也將得到極大提升，并且由于信息發(fā)布效率提升以及創(chuàng)作門檻的降低，使得人人都是元宇宙的內(nèi)容提供者。即使是傳統(tǒng)的制造業(yè)與農(nóng)業(yè)，也將得益于虛擬化的“需求-設(shè)計(jì)-生產(chǎn)-物流”一攬子平臺(tái)支撐，真正做到定制化的生產(chǎn)。

“3D的互聯(lián)網(wǎng)”涉及哪些前端技術(shù)？

再從技術(shù)角度看，有業(yè)內(nèi)人士認(rèn)為，元宇宙技術(shù)應(yīng)該被理解為現(xiàn)有各種技術(shù)的組合升級(jí)，可以說是“3D的互聯(lián)網(wǎng)”。到目前為止，這仍是十分恰當(dāng)和精妙的總結(jié)。元宇宙中所涉及的前端技術(shù)主要包括感知模塊、內(nèi)容創(chuàng)作模塊、以及真實(shí)感渲染模塊。

其中，感知技術(shù)主要包括對(duì)于環(huán)境和用戶主體的態(tài)勢(shì)感知。

前者主要是指對(duì)于場(chǎng)景進(jìn)行三維重建，同時(shí)恢復(fù)顏色、紋理、光照、材質(zhì)等細(xì)節(jié)，并且對(duì)于場(chǎng)景中所有的對(duì)象進(jìn)行語義的理解，包括各對(duì)象的標(biāo)簽屬性、場(chǎng)景中動(dòng)態(tài)的人和物的動(dòng)作行為等；后者主要針對(duì)用戶進(jìn)行建模，實(shí)時(shí)恢復(fù)出用戶的位置、動(dòng)作姿態(tài)、運(yùn)動(dòng)狀態(tài)等。目前高端的AR/VR眼鏡都帶有此類功能，經(jīng)常被稱為“6-DOF估計(jì)”，主流的SLAM技術(shù)可以同時(shí)恢復(fù)觀察者的姿態(tài)以及場(chǎng)景三維結(jié)構(gòu)。不過，這些技術(shù)目前的精度和穩(wěn)定性都還不夠理想。

元宇宙的一個(gè)主要特點(diǎn)在于虛實(shí)融合。因此，虛擬內(nèi)容的生產(chǎn)技術(shù)是元宇宙的核心，不受制于物理世界約束的天量虛擬內(nèi)容的產(chǎn)生是價(jià)值創(chuàng)造的源泉。

由于交互實(shí)時(shí)性、高通量的要求，人工的內(nèi)容生產(chǎn)，比如傳統(tǒng)的游戲、電影等，遠(yuǎn)遠(yuǎn)滿足不了元宇宙應(yīng)用的需求。而基于人工智能的內(nèi)容生成技術(shù)是目前最炙手可熱的方向，基于深度學(xué)習(xí)，尤其是對(duì)抗生成（StyleGAN），BERT-Transformer（VQ）等技術(shù)。

目前計(jì)算機(jī)已經(jīng)能夠“無中生有”出人物與景色圖片、動(dòng)作視頻、3D物品和建筑等數(shù)據(jù)，不過，對(duì)于實(shí)時(shí)以及虛實(shí)融合的要求，目前的內(nèi)容生成技術(shù)在保真性、可編輯性方面還有相當(dāng)長(zhǎng)的路要走。

當(dāng)然，作為元宇宙最終輸出端，渲染技術(shù)直接決定了使用者的沉浸式體驗(yàn)質(zhì)量，而真實(shí)感渲染技術(shù)是元宇宙技術(shù)棧上的皇冠。真實(shí)感渲染技術(shù)目前多見于好萊塢頂級(jí)電影制作（如《復(fù)仇者聯(lián)盟》系列）以及大型3A游戲中，其核心技術(shù)要點(diǎn)就是通過光線追蹤等方法，對(duì)物理規(guī)則進(jìn)行高精度仿真。

目前的光線追蹤技術(shù)已可做到以假亂真的全局光照，使得用戶感覺不到虛擬物品和周圍環(huán)境中的真實(shí)物體的光照違和感，而物理仿真則使虛擬的空間也符合近似真實(shí)世界的物理規(guī)則（流體、碰撞、運(yùn)動(dòng)等）。不過，受限于算力功耗等約束，目前這些技術(shù)尚未大規(guī)模運(yùn)用于終端設(shè)備。另一方面，深度學(xué)習(xí)與傳統(tǒng)的光線追蹤、物理仿真技術(shù)的結(jié)合應(yīng)運(yùn)而生（例如：NERF、AI光場(chǎng)重建等），旨在減少仿真的復(fù)雜度從而實(shí)現(xiàn)端側(cè)落地。

除了上述描述的主要前端技術(shù)，在后臺(tái)支撐平臺(tái)運(yùn)行的大規(guī)模超級(jí)計(jì)算技術(shù)，以及維持虛擬世界中高可靠信用體系的區(qū)塊鏈技術(shù)等也是元宇宙的重要技術(shù)支柱。

搭建元宇宙，有哪些技術(shù)難題有待突破？

不過，羅馬不是一天建成的。要想最終實(shí)現(xiàn)我們所期待的元宇宙，還有一系列技術(shù)難題有待突破。至少，目前以下幾個(gè)關(guān)鍵技術(shù)始終困擾著相關(guān)領(lǐng)域的科學(xué)家與技術(shù)開發(fā)人員。

１、新型顯示技術(shù)

沉浸式的體驗(yàn)必然要求沉浸式的顯示技術(shù)，目前在AR/VR顯示領(lǐng)域，無論是顯示器件還是圖像處理與渲染算法，尚不能完全滿足元宇宙應(yīng)用的技術(shù)指標(biāo)要求。市面上主流的AR/VR顯示器件（主要是光學(xué)波導(dǎo)片）大多存在著重量大，功耗大，解析度差，色偏嚴(yán)重，常伴有眩暈感等問題，要獲得一款又輕又好的顯示模組，需要材料學(xué)與光學(xué)的重大突破。

２、算力約束

從計(jì)算架構(gòu)角度看，元宇宙必然是一種“云-邊-端”協(xié)同的模式。然而，目前無論是云端還是終端，主流芯片的算力儲(chǔ)備遠(yuǎn)遠(yuǎn)滿足不了元宇宙應(yīng)用的要求。特別是端側(cè)算力瓶頸巨大，這是因?yàn)槎藗?cè)不僅承擔(dān)了部分智能感知算法，且更重要的是承擔(dān)了最核心的虛實(shí)融合的真實(shí)感圖像渲染算法，這類算法算力要求巨大且要求超低功耗，目前主流的端側(cè)計(jì)算芯片均不滿足如此嚴(yán)苛的技術(shù)指標(biāo)。

3、低時(shí)延通訊

元宇宙的核心在于無處不在、無時(shí)不在的交互，這些交互了產(chǎn)生天量的實(shí)時(shí)數(shù)據(jù)通訊需求。目前5G技術(shù)是否能夠完全滿足如此高帶寬、高并發(fā)的實(shí)時(shí)通訊，依然是一個(gè)未知數(shù)，也許我們要等到6G甚至7G時(shí)代的到來才能圓滿解決這些問題。

4、新型傳感器技術(shù)

元宇宙應(yīng)用對(duì)于用戶態(tài)勢(shì)感知的需求是前所未有的，對(duì)于用戶全維度的信息感知（例如外觀、位置、姿態(tài)、運(yùn)動(dòng)、各種生命體征、甚至心情、意圖等）需要輕便而高可靠的全系列新型可穿戴傳感器。

元宇宙將給我們帶來無限的可能，大眾可以準(zhǔn)備擁抱它所帶來的生活和工作方式的改變，期待生活更加美好，人生更加精彩。

而對(duì)于相關(guān)的企業(yè)與投資機(jī)構(gòu)，筆者在這里想說的是，與其熱衷于概念炒作，不如沉下心來積極投入到元宇宙相關(guān)支撐技術(shù)的研發(fā)投入中來。畢竟，如果能突破芯片、顯示器件、傳感器、計(jì)算架構(gòu)等“卡脖子”的關(guān)鍵核心技術(shù)，未來才真正無可限量。

作者：倪冰冰（作者為上海交通大學(xué)電子系教授、計(jì)算機(jī)視覺專家、華為海思計(jì)算機(jī)視覺首席科學(xué)家）