探索心智理论：程序引导的对抗性数据生成用于心智理论推理
机器学习
2024-12-18 v1 人工智能
计算与语言
摘要
大型语言模型（LLM）是否具备心智理论？已有大量论文和基准测试被引入，以评估当前模型是否能够发展出这种社会智能的关键能力。然而，这些评估都依赖于具有简单模式的有限数据集，这可能导致评估中存在问题的盲点，并高估模型的能力。我们引入了 ExploreToM，这是首个允许大规模生成多样且具挑战性的心智理论数据的框架，用于稳健的训练和评估。我们的方法利用特定领域语言上的 A* 搜索，生成复杂的故事结构以及新颖、多样且合理的场景，以压力测试 LLM 的极限。我们的评估显示，SOTA LLM（如 Llama-3.1-70B 和 GPT-4o）在 ExploreToM 生成的数据上准确率低至 0% 和 9%，凸显了对更稳健的心智理论评估的需求。由于我们的生成结果是先前工作的概念超集，在我们的数据上进行微调在经典的 ToMi 基准（Le et al., 2019）上带来了 27 个点的准确率提升。ExploreToM 还能够揭示模型展现心智理论所缺失的底层技能和因素，例如不可靠的状态跟踪或数据不平衡，这些可能是模型在基准测试中表现不佳的原因。
引用
@article{arxiv.2412.12175,
title = {Explore Theory of Mind: Program-guided adversarial data generation for theory of mind reasoning},
author = {Melanie Sclar and Jane Yu and Maryam Fazel-Zarandi and Yulia Tsvetkov and Yonatan Bisk and Yejin Choi and Asli Celikyilmaz},
journal= {arXiv preprint arXiv:2412.12175},
year = {2024}
}