语言模型评估中的人类中心偏差
计算与语言
2025-12-12 v3
摘要
评估大型语言模型（LLMs）的认知能力不仅需要克服拟人化偏差，还需克服人类中心偏差。本文指出了两种被忽视的人类中心偏差类型：一是忽视辅助因素如何在模型具备能力的情况下仍阻碍 LLM 表现（“辅助因素忽视”）；二是将不同于人类的 LLM 机制策略视为非真正具备能力而予以排斥（“机制沙文主义”）。缓解这些偏差需要一种经验驱动的、迭代的方法，将认知任务映射到 LLM 特有的能力和机制上，这可以通过将精心设计的行为实验与机制研究相结合来实现。
引用
@article{arxiv.2407.03859,
title = {Anthropocentric bias in language model evaluation},
author = {Raphaël Millière and Charles Rathkopf},
journal= {arXiv preprint arXiv:2407.03859},
year = {2025}
}
备注
Published in Computational Linguistics