质疑大语言模型人格测试的有效性
计算与语言
2024-06-06 v2 人工智能
机器学习
摘要
随着GPT-4等大语言模型（LLMs）在基于文本的交互中表现出日益类人的行为，利用最初为人类开发的问卷来评估LLMs的人格特质已变得流行。尽管复用测量工具是评估LLMs的一种资源高效方式，通常仍需谨慎调整以确保评估结果即便跨人类子群体也有效。在本工作中，我们提供证据表明LLMs对人格测试的响应系统性地偏离人类响应，意味着这些测试的结果不能以相同方式解释。具体而言，反向编码条目（“我内向”与“我外向”）常均被肯定回答。此外，旨在“引导”LLMs模拟特定人格类型的不同提示之间的变异，并未遵循人类样本中五个独立人格因子的清晰分离。鉴于这些结果，我们认为在就LLMs的“人格”等潜在定义不清的概念得出强结论之前，考察测试对LLMs的有效性十分重要。
引用
@article{arxiv.2311.05297,
title = {Challenging the Validity of Personality Tests for Large Language Models},
author = {Tom Sühr and Florian E. Dorner and Samira Samadi and Augustin Kelava},
journal= {arXiv preprint arXiv:2311.05297},
year = {2024}
}
备注
A less extensive and shorter version of this work has been accepted at Socially Responsible Language Modelling Research (SoLaR) 2023 Workshop at NeurIPS 2023