AI能否理解人类性格?——比较人类专家与AI系统在预测性格关联性方面的能力
计算机与社会
2024-06-13 v1
摘要
我们测试了像PersonalityMap这类专用深度神经网络,以及像GPT-4o和Claude 3 Opus这类通用大语言模型在理解人类性格方面的能力。具体而言,我们比较了它们预测性格项目之间关联性的能力与普通人群和学术专家的能力。我们发现,与单个人类相比,所有AI模型在大多数情况下都优于绝大多数普通人和学术专家。然而,在选择每个项目的中位数预测时,我们发现专家和PersonalityMap在大多数测度上均优于LLM和普通人。我们的结果表明,虽然前沿LLM在预测性格项目之间关联性方面优于大多数个体人类,但专用模型如PersonalityMap仍能在某些结果测度上与专家人类水平相当或更好,即便在LLM表现不佳的情况下。这为LLM的通用能力以及专用模型在特定领域训练与部署的持续重要性提供了证据。
引用
@article{arxiv.2406.08170,
title = {Can AI Understand Human Personality? -- Comparing Human Experts and AI Systems at Predicting Personality Correlations},
author = {Philipp Schoenegger and Spencer Greenberg and Alexander Grishin and Joshua Lewis and Lucius Caviola},
journal= {arXiv preprint arXiv:2406.08170},
year = {2024}
}
备注
45 pages, 6 figures