你知道馬克祖克柏會講台語aka閩南語嗎？我原本也不知道，直到他最近發了一支影片，來秀Meta AI有多厲害。原來，AI不只會幫你畫圖，現在還可以進行即時口譯。在這支demo影片中，馬克與在Meta專案負責人陳鵬仁（Peng-Jen Chen，確認為台灣人無誤），一起演示了英語和閩南語即時雙向翻譯的精彩過程。不過，可惜翻譯的語音並不是自己的聲音，不然就更厲害了。
如果大家記得臉書的「翻譯年糕」，可以說，這簡直是「元宇宙翻譯年糕」了。
據了解，這項在Meta AI內部的UST（Universal Speech Translator）計畫，主要是考慮到目前大多數的AI翻譯都得大量依靠文字，而許多語言並沒有文字，既然重押元宇宙，Meta自然就聚焦在「口說對口說」的AI翻譯上。Meta所使用的「S2UT」（speech-to-unit translation）模型，是將沒有文字的語言念音，轉換為數位聲波資料，再與其他可轉為文字的語言透過機器學習交叉比對，藉此建立標示與分類，未來就可以透過識別念音，把語言同步翻譯成其他語言。
Meta也表示，這次的演示之所以會選用閩南語，是由於閩南語的使用範圍遍及東南亞，使用人口又超過5,000萬人，另外，也因為閩南語沒有文字（看來台羅不算數），無法透過一般的翻譯技術來轉換成其他的語言。與此同時，祖克柏也宣布把UST技術開源，讓大家可以自行去擴增支援更多語言的即時翻譯。現在這套閩南語和英語雙向翻譯已被Meta放到網路上了，有興趣的話大家可以去玩看看。
當然，「元宇宙翻譯年糕」是祖克柏為迎接元宇宙時代來臨的準備，但即便你認為元宇宙還早得很，UST這套技術應用在電競的語音溝通上也會相當實用。這不禁讓我想到，前陣子從顯示卡發跡的NVIDIA才說，元宇宙需要大量的即時算繪，並將USD（Universal Scene Description）定義為元宇宙的HTTP。從社群平台發跡的Meta，如今發表並開源UST，滿足即時口譯的需求的同時，是不是也一面在表達「社交是元宇宙的未來」的想法？不管是統一的AI翻譯器，還是統一的3D格式，總覺得訂立各種「書同文，車同軌」的元宇宙標準還真是有趣呢。
訂閱電子報
