MacGyver：大语言模型是创造性问题解决者吗？
计算与语言
2025-02-25 v4 人工智能
摘要
我们在一个新颖的约束设定下探索现代 LLM 的创造性问题解决能力。为此，我们创建了 MACGYVER，一个自动生成的数据集，包含超过 1600 个现实世界问题，这些问题经过刻意设计以触发对物体的创新性使用并需要跳出框架的思考。随后我们将该集合呈现给 LLM 和人类，以比较和对比他们的问题解决能力。MACGYVER 对两组都具有挑战性，但方式独特且互补。例如，人类在熟悉的任务上表现出色，但在领域特定知识上挣扎，导致更高的方差。相比之下，LLM 接触了多种专业知识，尝试更广泛的问题，却因提出物理上不可行的动作而失败。最后，我们对 LLM 进行了详细的错误分析，并展示了通过新颖提示技术（如迭代逐步反思与发散-收敛思维）增强其问题解决能力的潜力。本工作（1）为聚焦于物理推理、规划与非传统思维的精细方面的智能体引入了一个新舞台，补充了现有的机器智能谱系；（2）提供了关于人类与 AI 在约束下问题解决能力的洞见。
引用
@article{arxiv.2311.09682,
title = {MacGyver: Are Large Language Models Creative Problem Solvers?},
author = {Yufei Tian and Abhilasha Ravichander and Lianhui Qin and Ronan Le Bras and Raja Marjieh and Nanyun Peng and Yejin Choi and Thomas L. Griffiths and Faeze Brahman},
journal= {arXiv preprint arXiv:2311.09682},
year = {2025}
}
备注
NAACL 2024