预训练多模态表示中的多语言公平性评估
计算与语言
2022-03-21 v2 人工智能
机器学习
摘要
近来，诸如 CLIP 之类的预训练多模态模型已展现出连接图像与自然语言的卓越能力。英语中的文本表示可理想地迁移至多语言环境，并支持不同语言的下游多模态任务。然而，多语言公平性原则很少受到审视：多语言多模态模型是否平等对待各种语言？其性能是否偏向特定语言？为回答这些问题，我们将语言视为公平受体，并为预训练多模态模型引入两种新公平概念——多语言个体公平与多语言群体公平。多语言个体公平要求不同语言中表达相似语义的文本片段以相似方式连接图像，而多语言群体公平要求跨语言的预测性能均等化。我们刻画了预训练多语言视觉与语言表示在跨语言个体公平上的程度。然而，大量实验表明多语言表示不满足群体公平：（1）存在严重的多语言准确率差异问题；（2）误差在图像中人群组别（包括种族、性别和年龄）条件下表现出跨语言偏差。
引用
@article{arxiv.2106.06683,
title = {Assessing Multilingual Fairness in Pre-trained Multimodal Representations},
author = {Jialu Wang and Yang Liu and Xin Eric Wang},
journal= {arXiv preprint arXiv:2106.06683},
year = {2022}
}
备注
15 pages, 18 figures