離同步率100%不遠了?東京電機大學開發出能讓人類「附身」的機器人

想想看,如果當你操作機器人時,不僅能透過機器人感知外界,還能傳達表情。這樣一來,操作機器人這回事是不是更接近「附身」呢?

最近,東京電機大學發表了一項名為「Yui」的仿生機器人系統,可再現操作者的視線、嘴部動作,以及語音相關表情,來與另一端通話,還能將接收到的影像與聲音傳達給操作者。

這樣雙向傳遞、同步感知,讓機器人可以達到類似視訊電話,但更有人味與臨場感的交流。比如遠端診療,醫師使用「Yui」,在遠方的病人直接向眼前的「Yui」敘述病情、給醫師看症狀;面對「Yui」就等於面對醫師。或是忙了一天還沒下班,想跟小孩話家常,只要透過在家中的「Yui」,就可以看到、聽到小孩說今天做了什麼,或拿出在學校畫的畫給你看。你溢於言表的滿足,也能透過「Yui」表達給小孩。


怎樣做到的?

「Yui」被設計成孩童般的中性面孔(或許是考量到人類對孩童的面貌會有好感),頭部及頸部有多達28處可變形,來表達人類的喜怒哀樂。此外,其眼睛和耳朵內建了立體攝影機和立體聲麥克風,來捕捉影像和聲音,再透過VR頭顯呈現給操作者;操作者也透過VR頭顯裡的感應器、麥克風偵測頭部轉動,將表情變化與聲音如實的與「Yui」同步。

可以說,東京電機大學團隊在過往單向的操作機器人與接收機器人訊息的兩端中,加入VR頭顯的應用來實現雙向交流。在他們發布的影片裡,使用的正是VIVE Pro Eye與VIVE 表情偵測套件,如果使用今年上市的全臉追蹤器——不僅擁有雙追蹤雙眼攝影鏡頭,還具備單追蹤人臉攝影鏡頭,透過嘴唇、下頜、臉頰、下巴、牙齒和舌頭38種混合形狀捕捉表情,搭配60Hz的流暢面部表情追蹤率提供逼真互動,效果會不會更好? 


多了表情,溝通更有溫度

研究團隊希望這項技術可以比視訊電話更接近面對面交流的體感。即使身處遠端,也能因為「表情的加入」達到更令人滿意的溝通品質,可應用在面試、問診、會議,或其他需要表情幫助我們來判斷、理解對方的溝通場合。去年一項由加拿大蒙特利爾大學公布的研究便顯示,15分鐘的面對面交流,要比1小時的線上交流效率更高。

  • 這是「Yui」做出的表情,往右滑看看你覺得它的情緒是?
  • 這是「Yui」做出的表情,往右滑看看你覺得它的情緒是?

不過團隊也在論文中表示,該技術還有幾個問題待克服,包括:精準再現臉部表情——雖然「Yui」能表達基本情感,但如何更精準的呈現,仍有進步空間;操作者與「Yui」之間的同步,很大程度仰賴參數的預先調整,這表示推廣到一般人使用有困難;可能需要多一隻手臂來增強「Yui」的互動能力。

團隊為它取名為「Yui」(ゆい),正是希望它能成為人與人之間的連結(不過如果這名字,中文會變「結衣」,感覺大家腦中會出現其他畫面干擾?)。在後疫情時代,如果能附身機器人遠端溝通,除了實在不怎樣令人享受的面試跟視訊會議,你還會想拿來做什麼呢?

訂閱電子報

返回頂端