超仿真虛擬主播問世!Synthesia用AI取代中之人,做影片就像做PPT般簡單

如今,AI在生活中可說是無處不在,相關技術更是幾乎以週為單位推陳出新,使用生成圖像、自動產文、製作影片等AI工具,都已是不少人的辦公日常。而最近,有間名為Synthesia的公司特別受人注目,它從2017年就開始推出AI生成影片服務,以「降低專業製片需耗費的成本」為核心,不僅降低剪片門檻,更能輕鬆打造出超仿真虛擬主播!在AI蓬勃發展的浪潮下,Synthesia也逐漸嶄露頭角,成了連兆元俱樂部Nvidia也看好的獨角獸企業,究竟Synthesia的AI工具有何特別之處?一起來看看吧!


獲得創投大佬資助的獨角獸AI新創Synthesia

2017年,在AI還未像今日一樣於全球普及的時候,Victor Riparbelli、Matthias Niessner等多位研究人員和企業家創立了Synthesia,期望透過生成式人工智慧技術,打造出一款能讓毫無影音剪輯經驗的人,也能快速產出商用影片的工具,並使生成影片的成本變得像製作PPT一樣,簡便又有效率。不過,成立之初沒有獲得太大的迴響,直到兩年後,知名足球運動員貝克漢(David Beckham)露面,以9種語言發表終結瘧疾傷害的慈善宣導片,才讓Synthesia首次獲得大眾關注。(想看貝克漢用女聲講中文?請點擊下方影片)

隨著AI蓬勃發展,影音市場越來越龐大,2023年Synthesia進行了C輪融資,由自早期就投注資金在Facebook、Slack、Spotify等潛力企業的風險投資公司Accel領投,在凱鵬華盈、GV以及全美第5大市值企業Nvidia等公司的投資下,讓這間自6年前,便持續在AI生成影片領域耕耘的團隊獲得9000萬美元的融資,躍身成了獨角獸,如今估值更上看10億美元。

根據Synthesia自家CEO的說法,目前已經有超過5萬家企業使用他們的服務,將來更會用獲得的資金投資於AI研究,引入可呈現4D動態神經場景的HumanRF,以不同的視角來捕捉全身外觀的動作,並採用Actors-HQ高保真數據集,來蒐集上百個具備高解析度、豐富細節與真實人物特徵的資料,以製作出擬真度更高的數位影像。並開發出更為流暢的操作介面、由GPT驅動的腳本編寫等其他功能,與慕尼黑TUM和倫敦UCL等大學進一步合作。


Synthesia的AI生成影片工具有何特別之處?

那麼,究竟這隻獨角獸Synthesia所推出的AI生成影片工具有什麼功能呢?根據官方表示,藉由此技術,使用者僅需透過輸入文字就能創建影片,並支援120多種語言、超過上百種AI頭像,與提供60多個模板選擇,大約十幾分鐘的時間,便能產出商用影片,省去準備相機設備、後續剪輯的成本與時間。


栩栩如生的Avatar,讓影片看起來自然又逼真

從官方Demo來看,生成的影片看起來是頗自然的,而根據上萬位使用者的回饋,認為Synthesia AI影音工具最大的特色,就是影片中的人物、說話時的表情都很逼真,還能根據需求選擇不同性別、年齡、國籍的Avatar,甚至創建自己的頭像,看看這些人物樣本,其自然程度如果不特別說,真的會以為是真人吧!

不僅如此,製作時還可以為人像調整細微的動作,例如點頭或是揚起眉毛,就不會讓Avatar講了十分鐘都維持同樣的表情,看起來更有人味惹!期待未來導入HumanRF後,能調整更多如舉手、指向物品、轉身等肢體行為,讓影片畫面更豐富吸睛。


直觀介面的AI工具,讓製作影片就像在做PPT

除了逼真的數位人像技術,直觀的操作介面也是Synthesia AI工具的一大特色,不僅大幅降低使用門檻,也能讓使用者自行上傳簡報、圖像、配樂、字體等,即使不具備剪片、製作分鏡、上字幕的技巧,只要輸入和調整需求,就能輕鬆完成製片。

更特別的是,Synthesia的AI工具採用「動態標記功能」,來取代一般製作影片時使用的時間軸(除了剪輯腳本和上傳背景除外)。舉例來說,想要讓貝克漢在影片中說話時出現對應的字幕,可以將此設定直接「標註」於貝克漢說的那句話,如此即便之後想刪減或增加影片內容,也不必再手動找出正確時間重調, 因為字幕會跟著被標記的那段話一起出現,讓原本的畫面依然可如實呈現。而其他的功能設定,大多也比照此原理設計,讓人能透過調整選項參數、文字設定,使整個製片過程,就如同製作PPT一樣更好上手。

a妮也有使用官網開放的試用版玩玩看,但不確定是不是使用中文的關係,雖然咬字很清晰,但語調相較一般真人而言似乎少了點起伏,聽久可能會覺得有些呆板。而若想使用特定的人物、模板、字幕等工具,就需要付費訂閱。不過,花不到15分鐘就能做好具一定品質的影片,對於有大量影音需求的企業而言,著實能夠省去不少心力和時間啊~有興趣的朋友,不妨去官網體驗看看


說到AI生成影片,有不少工具是使用真人建模,再以此製作出完整的虛擬人像,以便後續製片使用,Synthesia創建Avatar時也是採用這樣的方式。不過,若這種模式沒有妥善監管,可能就會出現有心人士運用Deepfake進行詐騙、散播假新聞,因此,為了預防這種情況發生,Synthesia也在使用工具的注意事項中,加註了「創建虛擬化身時需獲得影像本人同意」的條款,避免有人盜用他人的肖像權。希望這麼做,未來真的能夠避免相關犯罪事件的發生。

訂閱電子報

關於作者

返回頂端