CARE：面向文化意识的多语言人类偏好学习
计算与语言
2025-09-19 v5
摘要
语言模型（LMs）通常使用人类偏好进行调优以生成有帮助的响应，但关于偏好调优对处理文化多样性查询能力的影响尚未充分研究。在本文中，我们系统性地分析如何将本土人类文化偏好纳入偏好学习过程中以训练更具文化意识的模型。我们提出CARE，一个包含3,490个文化特定问题和31.7k条带有人类判断的回复的多语言资源。我们表明，仅用少量高质量的本土偏好即可提升模型在各种LMs上的文化意识，优于更大规模的通用偏好数据。我们的分析揭示，文化表现较强的模型从对齐中受益更多，这导致不同地区开发的模型之间存在差距，这些地区对获取与文化相关数据的可及性各异。CARE已公开发布于https://github.com/Guochry/CARE。
引用
@article{arxiv.2504.05154,
title = {CARE: Multilingual Human Preference Learning for Cultural Awareness},
author = {Geyang Guo and Tarek Naous and Hiromi Wakaki and Yukiko Nishimura and Yuki Mitsufuji and Alan Ritter and Wei Xu},
journal= {arXiv preprint arXiv:2504.05154},
year = {2025}
}
备注
Accepted at EMNLP 2025