LLM文化价值对齐评估

随着LLM作为智能代理在涉及人类互动的场景中日益广泛应用，关于LLM是否忠于不同地区文化差异的关键性问题日益凸显。已有研究以各种方式探索了这一问题，发现LLM输出在文化表征上存在偏见。为获得更全面的视角，本文对LLM文化对齐进行首次大规模评估，覆盖20个国家的文化与语言，并涵盖十个LLM。我们采用著名的文化价值问卷，并通过仔细分析LLM输出与人类 ground truth 分数的匹配情况，对LLM在国家间和模型间的文化对齐进行了详尽研究。我们的发现表明，所有模型的输出代表了一种中度的文化中场。鉴于整体偏斜，我们提出了一种对齐指标，揭示美国是最佳对齐国家，GLM-4在文化价值对齐方面能力最佳。更深入的调查揭示了模型来源、提示语言和价值维度对文化输出的影响。具体而言，无论模型来自何处，都能更好地对齐美国，而非中国。这些结论为LLM如何更好地对齐到各种文化提供了见解，也催生了进一步讨论LLM传播文化偏见的潜力，以及需要更具文化适应性的模型。