探查预训练语言模型中的跨文化价值差异
计算与语言
2025-08-29 v3
摘要
语言蕴含了人们所持的社会、文化与政治价值信息。已有研究探讨了预训练语言模型（PTLMs）中编码的社会及潜在有害偏见。然而，尚无系统性研究考察这些模型中嵌入的价值如何随文化而异。本文中，我们引入探针来研究这些模型嵌入了哪些跨文化价值，以及它们是否与既有理论与跨文化价值调查相一致。我们发现 PTLMs 捕捉了跨文化的价值差异，但这些差异仅与既有价值调查弱对齐。我们讨论了在跨文化场景中误对齐模型的使用影响，以及使 PTLMs 与价值调查对齐的方法。
引用
@article{arxiv.2203.13722,
title = {Probing Pre-Trained Language Models for Cross-Cultural Differences in Values},
author = {Arnav Arora and Lucie-Aimée Kaffee and Isabelle Augenstein},
journal= {arXiv preprint arXiv:2203.13722},
year = {2025}
}
备注
Accepted to C3NLP, EACL 2023: https://aclanthology.org/2023.c3nlp-1.12/