打破勾选框：挑战大语言模型文化对齐的封闭式评估
计算与语言
2025-11-14 v3 人工智能
计算机与社会
摘要
大量研究依赖封闭式多项选择调查来评估大语言模型（LLMs）中的文化对齐。在本工作中，我们挑战这种受限的评估范式，并探索更现实、更无约束的方法。以世界价值观调查（WVS）和霍夫斯泰德文化维度为案例研究，我们证明 LLMs 在约束较少的设置中表现出更强的文化对齐，即回答不受强制。此外，我们表明即使是微小的改变，如重新排列调查选项，也会导致不一致的输出，暴露了封闭式评估的局限性。我们的研究结果倡导更稳健、更灵活的评估框架，聚焦于特定的文化代理，鼓励对 LLMs 中文化对齐进行更细致、更准确的评估。
引用
@article{arxiv.2502.08045,
title = {Break the Checkbox: Challenging Closed-Style Evaluations of Cultural Alignment in LLMs},
author = {Mohsinul Kabir and Ajwad Abrar and Sophia Ananiadou},
journal= {arXiv preprint arXiv:2502.08045},
year = {2025}
}
备注
Accepted at EMNLP 2025 (Main)