AI訓練就像打遊戲?MIT研究發現,AI在「新手村」會學得更快!

AI訓練的環境一定要越接近現實越好嗎?麻省理工學院(MIT)與哈佛大學的一項最新研究告訴你答案可能不是這樣!如果你曾經玩過《小精靈》(Pac-Man)或任何一款遊戲,應該都知道高難度模式下的遊戲有多折磨人。不僅敵人更難預測、環境變數增加,容錯率極低。如果你是個新手,直接進入困難模式,可能還沒學會遊戲規則就已經Game Over了。

AI訓練也有類似的情況。傳統上,科學家認為AI應該直接在接近現實世界的「高難度」環境中學習,這樣它才能適應未來的挑戰。舉例來說,假設我們想讓一個家用機器人學會打掃廚房,最直覺的方法就是在模擬的廚房環境裡訓練它,而不是在一個工廠裡訓練。然而,研究團隊發現了一個令人驚訝的現象——讓AI先在「新手模式」的環境裡學習,反而能讓它在混亂的世界中表現得更好!

這個現象被稱為 「室內訓練效應」(Indoor Training Effect),顛覆了AI訓練的一般認知。


什麼是「室內訓練效應」?

舉個大家都可以理解的例子:學開車。你一開始會直接在車水馬龍的市區道路上學習,還是先在駕訓班空地練習?答案很明顯,先在駕訓班練好基本功,再上路更安全。

這個「室內訓練效應」就像是AI訓練的「駕訓班」。與其一開始就讓AI面對狂風暴雨,不如先讓它先練好基本功。AI在安靜、可控的環境中掌握了核心技能後,面對真實世界的混亂和不確定性,才能更游刃有餘。


如何驗證?讓AI玩遊戲

為了驗證這個想法,研究團隊選擇了經典遊戲《小精靈》(Pac-Man)來進行實驗,並依照「雜訊」的多寡,設定了兩種不同的訓練方式。

在這裡,「雜訊」指的是研究人員故意在遊戲中加入的隨機或不可預測因素,使環境變得更複雜,鬼怪可能突然移動到意想不到的位置。對強化學習(Reinforcement Learning)來說,這些隨機因素都透過「轉換函數」(transition function)來調控——也就是當AI在某個狀態下採取一個動作時,環境會以多少機率轉換到下一個狀態。如果轉換函數裡的「雜訊」增加,AI面對的挑戰就更大。

1. 直接在「高雜訊環境」(困難模式)中訓練

幽靈的移動路線充滿隨機性,AI得在不斷變動的環境裡摸索生存之道。就像把新手玩家直接丟進最高難度的關卡,一開始就得面對頻繁的突發狀況。

2. 先在「低雜訊環境」(簡單模式)中訓練

幽靈的移動更可預測,AI能專注在學習規則與最佳策略,類似玩家先從簡單模式摸清遊戲節奏,再挑戰更高難度的關卡。

結果顯示,如果讓AI先在簡單模式中學習,再放到困難模式測試,它的表現反而比直接在困難模式中學習更好。 這是因為在沒有干擾的情況下,AI可以更專注於學習遊戲的基本規則,例如如何躲避鬼、如何吃豆子,這也正是「室內訓練效應」的核心概念。

哈佛大學研究人員Spandan Madan表示:「我們一開始都認為AI應該在與最終測試環境相似的條件下訓練,這樣才能發揮最佳效果。但實驗結果讓我們大吃一驚,因為AI似乎在較為簡單的環境裡學習得更好,這是一個全新的思考角度。」


「室內訓練效應」應用場景

在「室內訓練效應」被提出之前,AI 的訓練方式大多追求盡可能貼近真實世界的「高擬真度環境」,或是透過「領域隨機化」(domain randomization)在模擬過程中加入各種隨機變數,以確保AI在各種場景下皆能學習,並在真實環境中保持穩定表現。

例如,特斯拉的自動駕駛訓練主要依賴真實數據,而非模擬環境。透過全球數百萬輛特斯拉車輛的鏡頭和感測器,系統每天收集上千億筆影像數據,再由Dojo超級電腦進行端到端學習,直接讓AI適應各種真實世界的變數,如突發路況、行人穿越等。這種方式雖然能讓AI學習到真實環境的多變性,但學習成本高,且AI在早期學習階段可能難以掌握基礎規則。

然而,經過「室內訓練效應」的實驗驗證後,顯示出與其一開始就把自駕車丟進車水馬龍的城市中接受考驗,不如先在較為「低雜訊」的封閉測試場或模擬系統中學習基礎行駛、轉彎與避開障礙物。等到AI已經熟悉了最核心的路徑規劃與感測技巧,再逐步增加變數,例如行人亂穿馬路、不可預期的車流等等。這樣做不只能降低實驗風險,也能讓AI更有效的掌握交通規則。

同樣的,工廠中的協作機器人若一開始就被放進充滿著工作人員與機械臂的生產線,干擾因素過多,AI可能連基本的「抓取物料」動作都無法穩定執行。若改在「簡單模式」的測試房間中,先讓機器人練習感測物體位置、校正抓取力度,再循序加上更多雜訊(像是移動中的人員、擺放不規則的零件),機器人的學習效率與安全性都會顯著提高。


這項研究為AI訓練的策略帶來新的思考路徑,與其急著模擬所有現實複雜度,不如先讓AI在「新手村」裡打穩基礎,再逐步面對真實世界的混亂與挑戰。或許未來不僅是家用機器人、自駕車,任何需要AI介入的領域,都能從這種「室內訓練效應」中受益。

最終,要如何設計「理想的新手村」,可能是下一步AI技術發展的重要課題:該怎麼在可控環境裡讓AI快速累積經驗,並且能順利應對瞬息萬變的真實世界?這或許正是AI持續向前邁進、從實驗室走向真實社會的關鍵一環。

返回頂端