本文作者為Josh Naylor,目前在HTC VIVE負責開發者關係,曾於Magic Leap和Unity任職。
隨著Apple Vision Pro發表,「空間運算」(Spatial Computing)似乎一下躍進大眾的視野。事實上,這個詞並不是新鮮事,它已經在科技圈存在了好一段時間。2015年,Magic Leap釋出的概念影片就曾展示過這樣的未來,它曾是歷史的一刻——機器人穿牆而出,鯨魚從健身房一躍而起,把大象放你的手掌心……空間運算曾經造成巨大的熱潮(和$)。
這幾年來,「延展實境」(XR)領域出現過許多不同的術語,比方微軟Hololens使用「混合實境」(MR),而HTC和Meta現在也都用MR作為「全彩穿透模式」的術語。至於「空間運算」,則被XR產業暫時晾在一旁,偶爾才會被少數人提及。
我的觀點是,MR描述了硬體本身的能力,比方視覺、聲音、鏡頭,以及感測器,但我不認為它能準確描述我們實際與內容互動的方式。這就是為什麼比起「混合實境」,我更喜歡「空間運算」的原因。
那麼,什麼是「空間運算」?
「空間運算」最早是由Simon Greenwold提出並且定義,他在2003年麻省理工媒體實驗室(MIT Media Lab)的碩士論文裡如此描述:「空間運算是指人類與機器之間的互動,機器能記住和操作真實物體和空間相關的資訊。這種技術能讓機器更完整地成為我們工作和娛樂的夥伴。」
空間運算第一次以視覺化的方式公開呈現,是在2009年Albert Hwang發布探索3D空間人機互動(HCI)的3支YouTube影片。當然,以現在的眼光來看,13年前的視覺效果並不好,但無損它在設計和理論的貢獻。
空間運算的關鍵概念,在於硬體裝置如何掃描和理解環境,並讓使用者感覺到數位內容全都嵌入並根植於物理環境之中。透過電腦視覺(人工智慧的一種類型,使電腦能解釋和分析視覺世界,並模擬出人類可感知與理解的環境),常見的概念像是:
- 網格化(meshing):指的是硬體裝置掃描並理解其周圍環境的過程,以便使用者感覺所有數位內容都嵌入並基於物理環境。
- 平面生成(plane generation):根據環境的平面和結構資訊,生成虛擬平面,用於在現實世界中放置可互動的虛擬物件。
- 語義理解(semantic understanding):指電腦了解和解釋物件和場景的含義,以更深入理解和適應使用者的需求和意圖。
- 共位功能(co-location features):指在虛擬和現實世界之間建立共位關係,使虛擬物件和現實物件能夠在相同的空間中互動和對應。
- 持續功能(persistence features):指虛擬物件在現實環境中保持穩定的位置和狀態,讓使用者可以進行長時間的互動和操作,不必擔心虛擬物件的消失或位置的改變。
漫漫長路,直到現在
過去幾年,Hololens和Magic Leap不再是面向消費者的產品,逐漸轉向企業應用。主要是因為這些技術所費不貲,使它們難以普及。與Hololens和Magic Leap直接將光線投射在你的眼睛,或投射在距離臉幾吋遠的玻璃上的方式相比,HTC VIVE、Meta,以及其他虛擬實境頭顯採用的彩色鏡頭穿透技術——捕捉世界並透過顯示螢幕呈現給使用者看,是完全不同的取向。
VR的穿透方法,都定位自己是XR頭顯,通常忘掉了「空間運算」這個詞彙,但事實上,它們幾乎具備了相同的能力——掃描你的環境,為數位內容嵌入真實世界建立所需的網格。
在消費市場,XR應用主要聚焦於遊戲(尤其是Meta的一體機以及HTC/Valve的PCVR),即使Quest Pro和VIVE XR Elite都推出各自的彩色穿透/混合實境功能,消費者的接受度仍然不高,直到現在。
空間運算再度回歸!
終於可以來談談蘋果的Vision Pro了!從WWDC的展示來看,蘋果重新召喚了「空間運算」,把這個詞彙介紹給廣大的觀眾,並且把我們過去8年,在各個軟硬體上看到的使用案例,通通融合進了這個產品。
蘋果就是蘋果。蘋果一向擅長學習他人的經驗、錯誤,和成功,並將這些與他們自己設計和生態系統整合在一起。我相信,許多人都不感到意外,只是這看起來也太熟悉了,對吧?
Apple Vision Pro的硬體本身固然令人印象深刻——高品質的材料、多個向內向外的鏡頭和感測器,當然還有單眼超過4K的高解析度顯示螢幕;但對我而言,蘋果所呈現的使用案例缺乏原創性,比方說一堆漂浮的2D視窗以及有限的輸入模型,都讓我感到有些失望。我希望能看到裝置本身真正的介面畫面,而不僅僅是高質感的渲染動畫。
嘿,我當然知道Apple Vision Pro還沒上市,我也不是來批評蘋果的。況且,大多數的消費者對其他人過去的創新可能一無所知,蘋果刻意用高概念和簡單的方式,展示它如何在日常中使用,也都能讓一般消費者快速理解。
不過,我十分驚訝的一點是——蘋果選擇了2D而不是3D。比方你可以掃描臉部生成虛擬化身來進行FaceTime通話,但蘋果卻以2D平面的方式來顯示,而不是立體3D。我以前曾在家中用Magic Leap的Spatial IO,透過完全3D的虛擬化身進行會議,那次是我感受過最彷彿置身在未來的體驗了。
我猜測,蘋果這次之所以比他們過往的產品都更早發布的原因(還有半年!),是因為要給開發者更多的時間,才能在2024年初之前,也就是Apple Vision Pro上市之時,提出更多原創的使用案例。
空間運算時代的到來
Meta、微軟、Magic Leap、HTC VIVE、Snap……現在Apple也加入了,毫無疑問,空間運算和混合實境有著不可忽視的未來潛力。每個平台都會有細微的差異、優點、缺點,以及不同的價格帶。
你不需要等Vision Pro正式推出,即使我們仍然處於新時代的萌芽期,普遍和統一的互動方式也尚未成形,但你現在就可以開始在任何一個平台上,成為空間運算的建造者。HTC VIVE XR Elite也正在建造混合實境環境。
作為設計師、創新者,以及夢想家的我們,充分運用這些技術去創造令人驚嘆的作品,是我們的重責大任。如果你想了解更多關於空間運算設計的資訊,我在過去幾年收集了許多講座、部落格,以及各平台的文件,你可以在這裡找到。
蘋果自己也在WWDC開發者大會的各研討會中,公布了自家的設計指南和資源,你可以在這裡找到;另外,也有一些關於與Unity整合的研討會,你可以在這裡和這裡找到相關的資訊。
感謝閱讀,祝福你在未來的設計工作好運!
慢著,那「元宇宙」呢?
我們對「元宇宙」並不陌生(畢竟連Facebook都改名叫「Meta」了),但蘋果在WWDC完全沒有提到這個詞,這是怎麼回事?
我覺得,這是一個很實際的決定!蘋果沒有把焦點放在「最終目標」,反而是透過空間網際網路,向大家展示達到目標之前的每個步驟。元宇宙並不是一個單一的狀態,而是下一代運算的各種形式的總和,包括我們如何與之互動——如何溝通、如何購物、如何工作、如何娛樂。我們都知道,這是一個不可避免的未來,而蘋果也在一夜之間驗證了市場的可行性,並加入了網際網路3.0的競賽。未來很令人期待,不是嗎?