LLM 是否能跨文化表达性格？引入 CulturalPersonas 进行特征对齐评估
计算与语言
2025-10-15 v2
摘要
随着大语言模型（LLM）成为从 tutoring 到 mental health 等交互式应用的核心组件，能够以文化方式恰当地表达性格的能力日益重要。虽然近期研究探索了 LLM 的性格评估，但大多数工作忽视了文化与性格之间的相互作用。为此，我们引入 CulturalPersonas，这是第一个经过人类验证的大规模基准，用于评估 LLM 在文化背景下的行为丰富情境中的性格表达能力。该数据集覆盖 3000 个基于情景的问题，跨越六个具有代表性的国家，旨在通过根植于当地价值观的日常情景来引导性格表达。我们评估了三个 LLM，采用多选和开放式回答格式。结果表明，CulturalPersonas 在模型和国家之间实现了超过 20% 的 Wasserstein 距离降低，显著改善了与国家特定人类性格分布的对齐度，并比现有基准产生更具表达性和文化一致性的输出。CulturalPersonas 在应对文化嵌入式提示时，能够引发有意义的调制化特征输出，为将 LLM 对齐至全球行为规范提供了新方向。通过连接性格表达与文化细微差别，我们设想 CulturalPersonas 将为构建更具社交智能和全球适应性的 LLM 铺平道路。
关键词
引用
@article{arxiv.2506.05670,
title = {Can LLMs Express Personality Across Cultures? Introducing CulturalPersonas for Evaluating Trait Alignment},
author = {Priyanka Dey and Yugal Khanter and Aayush Bothra and Jieyu Zhao and Emilio Ferrara},
journal= {arXiv preprint arXiv:2506.05670},
year = {2025}
}