在AI技术日新月异的今天，任天堂的游戏魅力依旧不减，甚至有观点认为，在AI时代，任天堂依然是游戏领域的领航者。这一观点在最近的一系列实验中得到了新的验证。
上个月，美国AI企业Anthropic在Twitch平台上，利用最新的AI模型Claude 3.7 Sonnet挑战了经典游戏《宝可梦·红》。这场直播不仅展示了AI技术的惊人进步，还引发了观众的热议。经过多轮测试，研究员们发现，《宝可梦》系列游戏成为了检验Claude 3.7 Sonnet性能的绝佳基准。在这款游戏中，Claude 3.7展现出了它的“智慧”，成功赢得了三个道馆的徽章。
然而，最新的研究表明，《超级马力欧兄弟》或许比《宝可梦》更适合作为AI工具的测试平台。加州大学圣地亚哥分校的Hao AI Lab团队设计了一个与GamingAgent框架集成的《超级马力欧兄弟》游戏，用于测试AI的性能。在这个框架中，AI被赋予了一些基本指令，如躲避敌人和障碍物，并通过Python代码生成输入来控制游戏角色马力欧。
实验结果令人惊讶，Claude 3.7在测试中表现最佳，紧随其后的是Claude 3.5、Gemini 1.5 Pro和GPT-4o。与《宝可梦》的回合制战斗相比，《超级马力欧兄弟》这种强调即时反应的游戏对AI的推理能力提出了更高的挑战。在游戏中，每一秒都至关重要，稍有不慎就可能导致游戏失败。
其实，用游戏来测试AI并非新鲜事。早在2019年，OpenAI就曾举办了一场比赛，展示了其AI模型OpenAI Five在Dota 2游戏中的实力。这款AI不仅击败了由专业玩家组成的队伍，还在公开发布后击败了99.4%的在线选手。然而，随着时间的推移，OpenAI逐渐将研究重心转向了自然语言处理等领域。
前Salesforce首席AI科学家Richard Socher曾指出，尽管为游戏创建AI令人兴奋且易于商业化，但这些AI模型在现实世界中的价值有限。他认为，游戏作为一个抽象、简单的环境，与真实世界存在显著差异。如果AI模型不能很好地适应新环境，就很难在时代变化中解决实际问题。即便是胜率高达9成的OpenAI Five，也仅能玩转Dota 2中的16个角色。
随着GPT-4.5的发布，AI评测领域也面临着新的挑战。OpenAI的研究人员表示，他们正在经历一场“评估危机”，对于如何评估AI模型的性能感到困惑。GPT-4.5虽然被赞誉为独特且富有人情味，但其“品味”却难以量化评估。
尽管如此，我们仍然可以欣赏到AI在《超级马力欧兄弟》中的精彩表现。这些实验不仅让我们看到了AI技术的无限可能，也为我们提供了思考AI未来发展方向的新视角。
