你知道馬克祖克柏會講台語aka閩南語嗎?我原本也不知道,直到他最近發了一支影片,來秀Meta AI有多厲害。原來,AI不只會幫你畫圖,現在還可以進行即時口譯。在這支demo影片中,馬克與在Meta專案負責人陳鵬仁(Peng-Jen Chen,確認為台灣人無誤),一起演示了英語和閩南語即時雙向翻譯的精彩過程。不過,可惜翻譯的語音並不是自己的聲音,不然就更厲害了。
如果大家記得臉書的「翻譯年糕」,可以說,這簡直是「元宇宙翻譯年糕」了。
據了解,這項在Meta AI內部的UST(Universal Speech Translator)計畫,主要是考慮到目前大多數的AI翻譯都得大量依靠文字,而許多語言並沒有文字,既然重押元宇宙,Meta自然就聚焦在「口說對口說」的AI翻譯上。Meta所使用的「S2UT」(speech-to-unit translation)模型,是將沒有文字的語言念音,轉換為數位聲波資料,再與其他可轉為文字的語言透過機器學習交叉比對,藉此建立標示與分類,未來就可以透過識別念音,把語言同步翻譯成其他語言。
Meta也表示,這次的演示之所以會選用閩南語,是由於閩南語的使用範圍遍及東南亞,使用人口又超過5,000萬人,另外,也因為閩南語沒有文字(看來台羅不算數),無法透過一般的翻譯技術來轉換成其他的語言。與此同時,祖克柏也宣布把UST技術開源,讓大家可以自行去擴增支援更多語言的即時翻譯。現在這套閩南語和英語雙向翻譯已被Meta放到網路上了,有興趣的話大家可以去玩看看。
當然,「元宇宙翻譯年糕」是祖克柏為迎接元宇宙時代來臨的準備,但即便你認為元宇宙還早得很,UST這套技術應用在電競的語音溝通上也會相當實用。這不禁讓我想到,前陣子從顯示卡發跡的NVIDIA才說,元宇宙需要大量的即時算繪,並將USD(Universal Scene Description)定義為元宇宙的HTTP。從社群平台發跡的Meta,如今發表並開源UST,滿足即時口譯的需求的同時,是不是也一面在表達「社交是元宇宙的未來」的想法?不管是統一的AI翻譯器,還是統一的3D格式,總覺得訂立各種「書同文,車同軌」的元宇宙標準還真是有趣呢。