超越艺术杰作或旅游陈词滥调：如何评估大语言模型的文化对齐
计算与语言
2026-05-06 v2
摘要
尽管大语言模型（LLM）的文化（错）对齐——通常以文化偏见的角度来表述——已经引起了越来越多的关注，但直到最近，关于文化评估数据集的设计与开发的工作仍然有限。在此，我们回顾了此类数据集的现有方法，并指出了它们的主要局限性。为了解决这些问题，我们提出了针对标注者的设计指南，并报告了根据这些原则构建的数据集。我们进一步展示了使用该数据集进行的一系列对比实验。结果表明，我们的设计产生了具有更强判别能力的测试集，在其他条件相同的情况下，能够有效区分针对特定文化专门化的模型与未专门化的模型。
引用
@article{arxiv.2604.25654,
title = {Progressing beyond Art Masterpieces or Touristic Clich\'es: how to assess your LLMs for cultural alignment?},
author = {António Branco and João Silva and Nuno Marques and Luis Gomes and Ricardo Campos and Raquel Sequeira and Sara Nerea and Rodrigo Silva and Miguel Marques and Rodrigo Duarte and Artur Putyato and Diogo Folques and Tiago Valente},
journal= {arXiv preprint arXiv:2604.25654},
year = {2026}
}
备注
RESOURCEFUL-2026 Workshop at LREC 2026; corrected reference