BERTScore 有失公平：基于语言模型文本生成指标中的社会偏见研究
计算与语言
2022-10-17 v1 人工智能
摘要
自动评价指标对生成系统的开发至关重要。近年来，基于预训练语言模型（PLM）的指标（如 BERTScore）已被广泛应用于各类生成任务中。然而，已有研究表明 PLM 编码了一系列刻板的社会偏见，这引发了人们对将 PLM 作为指标之公平性的担忧。为此，本文首次对基于 PLM 的指标中的社会偏见进行了系统性研究。我们证明，在种族、性别、宗教、外貌、年龄和社会经济地位这 6 个敏感属性上，流行的基于 PLM 的指标比传统指标表现出显著更高的社会偏见。深入分析表明，选择指标的范式（匹配、回归或生成）比选择 PLM 对公平性的影响更大。此外，我们开发了去偏适配器并注入 PLM 层，在缓解基于 PLM 指标中偏见的同时保留其评估文本生成的高性能。
引用
@article{arxiv.2210.07626,
title = {BERTScore is Unfair: On Social Bias in Language Model-Based Metrics for Text Generation},
author = {Tianxiang Sun and Junliang He and Xipeng Qiu and Xuanjing Huang},
journal= {arXiv preprint arXiv:2210.07626},
year = {2022}
}
备注
Accepted to EMNLP 2022 (main conference). Data and code are available at https://github.com/txsun1997/Metric-Fairness