一張照片就能重現毛孩!韓國UNIST推出DogRecon,用AI讓狗狗從回憶「走出來」

養過寵物的人,或許都曾對天吶喊過:「為何寶貝們的生命如此短暫?!」也因為陪伴稍縱即逝,許多主人的手機裡總塞滿成千上萬張照片,只為多留下些有牠們陪在身邊的瞬間。

其實,蘋果先前推出的「空間照片」(Spatial Photos)功能,也正是回應了這種想「記錄」的心情——讓記憶不再只是平面的定格,而能以3D形式,讓人走進記憶裡的場景。然而,如果我們要的不只是進入場景,而是讓毛小孩「走出照片」,成為能動、能陪伴的存在呢?

這正是韓國蔚山國立科學技術院(UNIST)開發的AI技術「DogRecon」所帶來的可能。不再需要繞著牠拍上好幾圈、準備海量素材,只要需要一張照片,就能生成一隻立體、可動的狗狗3D模型。當然,你們這些路邊看到貓狗就忍不住狂拍的叔叔阿姨們,也不用再羨慕別人家有狗勾了,用DogRecon,就能把這些毛茸茸的寶貝360度立體地占為己有!

DogRecon這個名字,顧名思義是結合了「狗狗」(Dog)與「重建」(Reconstruction),是一款專門用來進行狗狗3D重建的AI技術。它能自一張照片,還原出狗狗完整立體的模樣。該工具由UNIST人工智慧研究生院的趙炅洙(조경수)教授團隊打造。UNIST是韓國專攻科技研究的四大國立大學之一,這次他們解決的是狗狗3D建模的難搞問題。

事實上,將狗狗製作成3D模型並沒有想像中容易。牠們品種繁多、長相差異大,從體型、毛髮到步態皆各異其趣,再加上四腳著地的生理構造,在照片中時常出現關節被毛髮遮住的情況。這些都可能讓AI在建模時誤判,最終生成如一團抹布、四肢模糊不清的狗狗。

DogRecon的「產狗」過程。從單張的柴柴照片出發,先透過狗狗知識模型分析,再結合AI圖像合成技術,建立出初步的3D狗狗架構,再透過3D高斯噴濺,渲染出了一隻立體柴。(來源:조경수

為了解決這些問題,DogRecon結合了兩項核心技術:犬類先驗知識模型(Canine prior),以及以狗狗為中心的新視角合成技術(Canine-centric NVS)。

簡單來說,犬類先驗知識模型就像一本狗狗的百科全書,內含大量已訓練的狗狗圖像資料。它能判斷你家毛孩的品種、體型比例與骨架結構,為3D建模打下基礎。而新視角合成技術,則讓DogRecon能夠模擬出出狗狗各個角度的模樣,無論是側身、尾巴,還是藏在毛毛裡的小腳腳,都能靠AI自動生成,省去傳統上需要環繞拍攝、甚至準備數百張照片或影像的麻煩過程。

這些模擬出的多角度畫面,會被整合成一個3D點雲模型,再透過3D高斯噴濺技術(3D Gaussian Splatting) 渲染,讓模型成品看起來既自然靈動,又保有毛茸茸的真實質感。

DogRecon只需要一張哈士奇照,就超越其他需要「影片」甚至「數百張畫面」的模型能達成的哈樣。(來源:조경수

研究團隊也將DogRecon與現有的寵物建模技術進行比較。像是BANMo需要超過170幀的影片,卻無法輸出動畫;Fewshot-GART雖然只需要三張圖,但生成結果仍不如DogRecon逼真。

DogRecon在高度還原狗狗外型並保留美感之餘,同時兼具了便民功能:只需一張照片,就能生成3D狗狗模型,甚至支援「文字生成動畫」功能,只需輸入簡單指令,狗狗就能在畫面中行走、奔跑、搖尾巴。呈現上彷彿你家那隻狗寶,正悠哉朝你走來。

不單讓狗狗模型變成供展示的立體公仔,透過文字輸入動作功能,狗狗模型就能自己動起來。(來源:조경수

UNIST教授趙炅洙表示:「現在有超過四分之一的家庭有飼養寵物,我們希望能將以人為核心的3D重建技術,延伸到寵物身上。DogRecon將成為一項人人都能使用的工具,讓飼主能在數位空間中重現自己的愛犬,甚至讓牠們動起來。」

這項技術的延伸性也相當令人期待。當家裡的毛小孩以及路邊偶遇的狗狗都能輕易3D建模後,將有更多應用場景誕生:從懷念離世的寵物,到打造虛擬寵物互動角色。你可以將牠們帶進VR、ARVIVERSE等虛擬空間,成為虛擬化身的專屬萌寵,在線上延續你和牠之間的羈絆。

比較可惜的是,目前DogRecon尚未對外開放試用。不過未來若有體驗版本或開源,我們也會第一時間向大家更新消息!

返回頂端