大型语言模型能更好地理解你吗？一个与群体特征对齐的 MBTI 人格检测数据集
计算与语言
2024-12-18 v1 计算机与社会
摘要
迈尔斯-布里格斯类型指标（MBTI）是最具影响力的人格理论之一，反映了个体在思维、情感和行为上的差异。MBTI 人格检测引起了广泛的研究兴趣，并在过去几年中取得了显著发展。然而，这项任务往往过于乐观，因为它目前与群体人格特征的自然分布并不十分吻合。具体而言，（1）现有数据集中的自我报告标签导致了错误标注问题，以及（2）硬标签无法涵盖群体人格分布的全貌。在本文中，我们在心理学家的指导下，通过构建 MBTIBench 优化了该任务，这是首个带有软标签的人工标注高质量 MBTI 人格检测数据集。针对第一个挑战，MBTIBench 有效解决了错误标注问题，这些错误标注占数据的 29.58%。针对第二个挑战，我们通过推导样本的极性倾向来估计软标签。获得的软标签证实，具有非极端人格特征的人占多数。实验结果不仅突出了 LLM 中的两极化预测和偏差是未来研究的关键方向，也证实了软标签比硬标签能为其他心理学任务带来更多益处。代码和数据可在 https://github.com/Personality-NLP/MbtiBench 获取。
引用
@article{arxiv.2412.12510,
title = {Can Large Language Models Understand You Better? An MBTI Personality Detection Dataset Aligned with Population Traits},
author = {Bohan Li and Jiannan Guan and Longxu Dou and Yunlong Feng and Dingzirui Wang and Yang Xu and Enbo Wang and Qiguang Chen and Bichen Wang and Xiao Xu and Yimeng Zhang and Libo Qin and Yanyan Zhao and Qingfu Zhu and Wanxiang Che},
journal= {arXiv preprint arXiv:2412.12510},
year = {2024}
}
备注
Accepted by COLING 2025. 28 papges, 20 figures, 10 tables