基于重要性采样互信息最小化的文本生成公平性研究
计算与语言
2023-02-28 v1 人工智能
摘要
预训练语言模型(PLMs)，如 GPT2，在文本生成任务中取得了卓越的经验性能。然而，由于在大规模自然语言语料上预训练，PLMs 生成的文本可能表现出针对弱势人口群体的社会偏见。为提升 PLMs 在文本生成中的公平性，我们提出最小化生成文本句子中的语义与其人口极性(即句子所指的人口群体)之间的互信息。以此方式，提及某一人口群体(例如男性或女性)被鼓励独立于其在生成文本中如何被描述，从而有效缓解社会偏见。此外，我们提出通过重要性采样高效估计上述互信息的上界，利用自然语言语料。我们还提出一种蒸馏机制，在去偏后保留 PLMs 的语言建模能力。在真实基准上的实证结果表明，所提方法在公平性与语言建模能力两方面均取得优越性能。
引用
@article{arxiv.2302.13136,
title = {Toward Fairness in Text Generation via Mutual Information Minimization based on Importance Sampling},
author = {Rui Wang and Pengyu Cheng and Ricardo Henao},
journal= {arXiv preprint arXiv:2302.13136},
year = {2023}
}