使用多种语言影响语言模型的道德偏见
计算与语言
2023-06-02 v2
摘要
预训练多语言语言模型(PMLMs)在处理多语言数据和跨语言迁移时常用。然而,PMLMs对每种语言的训练数据量不同。实践中这意味着它们的性能在英语上往往远优于许多其他语言。我们探究这在多大程度上也适用于道德规范。模型是从英语中捕获道德规范并将其强加于其他语言吗?模型在某些语言中表现出随机且因此可能有害的信念吗?这两个问题都可能对跨语言迁移产生负面影响并可能导致有害结果。在本文中,我们(1)将MoralDirection框架应用于多语言模型,比较德语、捷克语、阿拉伯语、汉语和英语的结果,(2)分析模型在过滤的平行字幕语料库上的行为,(3)将模型应用于道德基础问卷(Moral Foundations Questionnaire),并与来自不同国家的人类回答进行比较。我们的实验表明,确实,PMLMs编码了不同的道德偏见,但这些并不一定对应于人类意见中的文化差异或共性。我们发布了代码和模型。
引用
@article{arxiv.2211.07733,
title = {Speaking Multiple Languages Affects the Moral Bias of Language Models},
author = {Katharina Hämmerl and Björn Deiseroth and Patrick Schramowski and Jindřich Libovický and Constantin A. Rothkopf and Alexander Fraser and Kristian Kersting},
journal= {arXiv preprint arXiv:2211.07733},
year = {2023}
}
备注
To appear in ACL Findings 2023