量化 LLM 抗生物测评中的数据污染
计算与语言
2026-02-02 v2 机器学习
摘要
最近的研究将心理测量问卷应用于大型语言模型（LLM），以评估价值观、人格、道德基础和恶意特质等高层次心理构念。尽管已有研究提出了关于心理测量清单可能导致数据污染的潜在担忧，这可能威胁此类评估的可靠性，但尚无系统性尝试来量化这种污染的程度。为填补这一空白，我们提出了一套系统性衡量 LLM 心理评估中数据污染的框架，评估三个方面：（1）项目记忆，（2）评估记忆，（3）目标得分匹配。将该框架应用于来自主要模型家族的21个模型和四个广泛使用的心理测量清单，我们提供证据表明，像大五因素问卷（BFI-44）和肖像价值问卷（PVQ-40）等流行清单存在强烈污染，其中模型不仅记忆项目，还能调整其响应以实现特定目标得分。
引用
@article{arxiv.2510.07175,
title = {Quantifying Data Contamination in Psychometric Evaluations of LLMs},
author = {Jongwook Han and Woojung Song and Jonggeun Lee and Yohan Jo},
journal= {arXiv preprint arXiv:2510.07175},
year = {2026}
}
备注
EACL 2026 Findings