大语言模型中的波西克理解
计算与语言
2025-07-01 v2 人工智能
摘要
大语言模型（LLMs）定期使用基准数据集进行评估。但，这些基于精选问题答案的推断，究竟能否为对LLM能力的推断提供合理依据？本文首先引入一个正式框架来回答此问题。关键在于，用于测试LLM的基准——如AP考试——也是用于测试人的基准。然而，这引出一个含义：这些基准只有在LLM对概念理解出错的方式与人类理解出错的方式一致时，才是有效的测试。否则，基准测试仅证明了波希克理解：即由与任何人类对概念解释不可调和的答案驱动的理解幻象。在本文中，我们提出了两种量化波希克现象的程序：一种使用在三个领域中设计的特定基准，另一种使用一种提供其普遍性下界的通用程序。我们发现，波希克现象在各种模型、任务和领域中都普遍存在。我们也发现，这些失败不仅反映了错误的理解，更深刻地反映了概念表示内部的深层不一致性。
引用
@article{arxiv.2506.21521,
title = {Potemkin Understanding in Large Language Models},
author = {Marina Mancoridis and Bec Weeks and Keyon Vafa and Sendhil Mullainathan},
journal= {arXiv preprint arXiv:2506.21521},
year = {2025}
}