Baba Is AI：破解基准的规则
计算与语言
2025-09-11 v2
摘要
人类通过遵循既有规则和程序来解决问题，也通过创造性的跨越来重新定义这些规则和目标。为探测这些能力，我们开发了基于游戏 Baba Is You 的新基准，其中智能体同时操控环境中的对象和表示为带有文字的可移动砖块的规则，以实现指定目标并赢得游戏。我们测试了三个最先进的多模态大语言模型（OpenAI GPT-4o、Google Gemini-1.5-Pro 和 Gemini-1.5-Flash），发现它们在需要操控和组合游戏规则时几乎失败。
引用
@article{arxiv.2407.13729,
title = {Baba Is AI: Break the Rules to Beat the Benchmark},
author = {Nathan Cloos and Meagan Jens and Michelangelo Naim and Yen-Ling Kuo and Ignacio Cases and Andrei Barbu and Christopher J. Cueva},
journal= {arXiv preprint arXiv:2407.13729},
year = {2025}
}
备注
8 pages, 8 figures