讓最新的AI模型挑戰《超級瑪利歐兄弟》 Claude 3.7 Sonnet表現最佳

據 Automaton 報導，美國加州大學的研究機構Hao AI Lab今日（3月5日）公布了最新研究成果。他們讓多款最新AI模型挑戰經典遊戲《超級瑪利歐兄弟》（Super Mario Bros.），結果顯示不同模型在即時動作遊戲中的表現差異相當顯著。

近年來，AI在遊戲領域的應用發展迅速。Hao AI Lab此次選擇《超級瑪利歐兄弟》作為測試平台，原因在於相較於美商Anthropic先前讓其AI模型「Claude」挑戰《神奇寶貝 紅》，《超級瑪利歐兄弟》更注重即時反應與操作靈敏度。值得一提的是，Hao AI Lab並非開發AI模型本身，而是打造了一款名為「GamingAgent」的工具，通過API讓各家AI模型控制模擬器中的遊戲角色。

Claude-3.7 was tested on Pokémon Red, but what about more real-time games like Super Mario 🍄🌟?

We threw AI gaming agents into LIVE Super Mario games and found Claude-3.7 outperformed other models with simple heuristics. 🤯

Claude-3.5 is also strong, but less capable of… pic.twitter.com/bqZVblwqX3

— Hao AI Lab (@haoailab) February 28, 2025

研究人員將「遇到障礙物或敵人時跳躍閃避」等基本指令輸入GamingAgent，工具隨即生成對應的Python程式碼來操作遊戲角色。這次實驗涵蓋了OpenAI、Anthropic、Google等公司的多款AI模型，其中表現最突出的，是Anthropic的「Claude 3.7 Sonnet」，它展現了複雜的操作技巧，緊隨其後的是「Claude 3.5 Sonnet」。整體而言，Anthropic的模型表現都相當出色。研究人員分析，這可能與「Claude」在軟體開發等領域的穩定表現有關，能與GamingAgent的Python控制機制良好整合。

相比之下，OpenAI的「o1」等推論模型表現相對平淡。這些推論模型透過完整的思考過程進行判斷，通常被認為精準度高於傳統模型，但推理過程耗時較長。在《超級瑪利歐兄弟》這類需要即時反應的動作遊戲中——例如見到敵人或陷阱必須立刻跳躍——推論模型似乎不太適用。研究人員指出，要讓AI在即時性強的遊戲中脫穎而出，必須在速度與精準度之間找到平衡。

有趣的是，表現最佳的「Claude 3.7 Sonnet」是一款「混合推論模型」，除了標準的「標準模式」外，還提供「延伸思考模式」可供切換。從GamingAgent的原始碼中可以看出，Hao AI Lab此次僅啟用了速度較快的「標準模式」，未使用「延伸思考模式」，這可能是它在測試中取得不錯成績的原因。然而，目前模式切換仍需人工操作。如果未來AI能根據情境自動切換「真正混合」的思考方式，或許能超越「Claude 3.7 Sonnet」，在即時遊戲中展現更高水準。

事實上，AI在圍棋等回合制博弈遊戲領域已取得長足進展。例如，2016年Google DeepMind的「AlphaGo」擊敗頂尖棋士，震驚業界。但這類遊戲雖然也涉及時間管理，與動作遊戲所需的即時操作仍有所不同。動作遊戲更強調在關鍵時刻犧牲部分精準度，換取快速決策的能力。如果AI能靈活調整訓練方向，未來或許能為遊戲產業帶來革命性突破。

Hao AI Lab已將「GamingAgent」的原始碼以MIT授權釋出至GitHub，供各界下載嘗試或進一步調整，推動AI遊戲研究的進展。