CCD-Bench：探索大语言模型在文化冲突决策中的表现
计算与语言
2025-11-14 v2
摘要
尽管大型语言模型 (LLM) 正在日益被用于人际和社会决策，但其在处理不同文化价值体系之间明确冲突的能力仍鲜有考察。现有基准主要针对文化知识 (CulturalBench)、价值预测 (WorldValuesBench) 或单轴偏见诊断 (CDEval)；没有评估 LLM 在多个文化价值观直接冲突时的决策方式。我们通过 CCD-Bench 提出了这一空白，以评估 LLM 在跨文化价值冲突情境下的决策。CCD-Bench 包含 2,182 个跨七个领域的开放性困境，每个困境配有十个匿名回复选项，对应十个 GLOBE 文化集群。这些困境采用分层拉丁方块法以减轻排序效应。我们评估了 17 个非推理 LLM。模型倾向于优先选择北欧欧洲（平均 20.2%）和德意志欧洲（12.4%），而东欧和中东/北非的选项被低估（5.6% 到 5.8%）。尽管 87.9% 的论证参考了多个 GLOBE 维度，但这种多元化是表面的：模型重组搭配未来导向与绩效导向，极少基于断裂性或性别平等主义（均低于 3%）。排序效应可忽略不计（Cramer's V 小于 0.10），对称 KL 发散显示模型按开发者背景而非地理位置进行聚类。这一模式表明当前的对齐流程促进了一种以共识为导向的世界观，忽略了需要权力协商、基于权利的推理或性别敏感分析的情境。CCD-Bench 将评估从孤立偏见检测转向多元决策，并凸显了需实质性地参与多元世界观的对齐策略的必要性。
引用
@article{arxiv.2510.03553,
title = {CCD-Bench: Probing Cultural Conflict in Large Language Model Decision-Making},
author = {Hasibur Rahman and Hanan Salam},
journal= {arXiv preprint arXiv:2510.03553},
year = {2025}
}