LLM 是否具有不同且一致的性格？TRAIT：为 LLM 设计的基于心理测量的性格测试集
计算与语言
2025-03-20 v3 人工智能
摘要
近期大语言模型 (LLM) 的进展导致其在 various 领域作为对话代理进行适应。我们思考：性格测试能否应用于这些代理，以类似人类方式分析其行为？我们引入 TRAIT，一个新的基准测试，包含 8K 多选问题，用于评估 LLM 的性格。TRAIT 基于心理学验证的两个小型人类问卷，即 Big Five Inventory (BFI) 和 Short Dark Triad (SD-3)，并结合 ATOMIC-10X 知识图谱，扩展到 various 实际场景。TRAIT 还在可靠性和有效性方面优于现有的 LLM 性格测试，实现 Content Validity、Internal Validity、Refusal Rate 和 Reliability 四项关键指标的最高分。通过 TRAIT，我们揭示了 LLM 性格的 two notable insight：1) LLM 表现出不同且一致的性格，这受其训练数据（例如用于对齐调优的数据）高度影响；2) 当前的提示技术在激发 certain traits（如高心理人格或低勤勉性）方面效果有限，暗示需要进一步研究。
引用
@article{arxiv.2406.14703,
title = {Do LLMs Have Distinct and Consistent Personality? TRAIT: Personality Testset designed for LLMs with Psychometrics},
author = {Seungbeen Lee and Seungwon Lim and Seungju Han and Giyeong Oh and Hyungjoo Chae and Jiwan Chung and Minju Kim and Beong-woo Kwak and Yeonsoo Lee and Dongha Lee and Jinyoung Yeo and Youngjae Yu},
journal= {arXiv preprint arXiv:2406.14703},
year = {2025}
}
备注
Accepted to NAACL2025 Findings