使用心理测量尺度评估和操控预训练语言模型中的潜在构造
计算与语言
2025-01-14 v2 人工智能
摘要
近期发现大型语言模型中存在类似人的性格特征，这导致我们假设它们（已知的以及尚未发现的）偏见符合人类潜在心理构造。虽然大型对话模型可能被误导去回答心理测量问卷，但数千个为其他任务训练的简单变压器模型无法进行评估，因为目前缺乏适当的心理测量方法。本文展示了如何将标准心理问卷重新表述为自然语言推理提示，我们提供一个代码库来支持对任意模型的心理测量评估。我们演示了使用88个公开可用的模型，发现存在符合人类心理学中标准理论的人类类似精神健康相关构造（包括焦虑、抑郁和凯尔特感），并显示相似的相关性和缓解策略。通过心理工具来解释和纠正语言模型表现的能力，可以提升更具可解释性、可控制性和可信度的模型的开发。
引用
@article{arxiv.2409.19655,
title = {Assessment and manipulation of latent constructs in pre-trained language models using psychometric scales},
author = {Maor Reuben and Ortal Slobodin and Aviad Elyshar and Idan-Chaim Cohen and Orna Braun-Lewensohn and Odeya Cohen and Rami Puzis},
journal= {arXiv preprint arXiv:2409.19655},
year = {2025}
}