中文

AlignCultura:面向文化对齐的大型语言模型

计算与语言 2026-04-22 v1

摘要

大型语言模型 LLM 的文化对齐对于生成富有情境意识、尊重且可信赖的输出至关重要。缺乏文化对齐可能导致模型生成刻板印象、不敏感或误导性的响应,无法体现文化多样性。现有基准仅为文化对齐的早期步骤,尚无基准能依据 UNESCO 文化多样性原则系统评估 LLM 在有用、无害、诚实 HHH 范式下的文化对齐。为此,我们构建 Align-Cultura 文化对齐管道。阶段 I 通过查询构造构建 CULTURAX 数据集,将 HHH-English 数据集置于 UNESCO 文化分类法框架下,包括重新分类提示词、扩展欠representative 领域(或标签),以及使用 SimHash 防止数据泄露。随后,响应生成通过两阶段拒绝抽样将提示词与文化依据响应配对。最终数据集包含 1500 个样本,覆盖 tangible 和 intangible 文化形式的 30 个子域。阶段 II 在通用模型、文化微调模型和开源 LLM(Qwen3-8B 与 DeepSeek-R1-Distill-Qwen-7B)上对 CULTURAX 进行基准测试。实证结果表明,文化微调模型在联合 HHH 上提升 4%-6%,降低文化失效 18%,实现 10%-12% 的效率提升,并将泄露限制在 0.3%。

关键词

引用

@article{arxiv.2604.19016,
  title  = {AlignCultura: Towards Culturally Aligned Large Language Models?},
  author = {Gautam Siddharth Kashyap and Mark Dras and Usman Naseem},
  journal= {arXiv preprint arXiv:2604.19016},
  year   = {2026}
}

备注

Accepted at ACL Mains 2026