利用多样化判别器缓解训练偏差
机器学习
2021-01-26 v1 人工智能
摘要
对抗学习能够比标准方法学习到更公平、偏差更小的语言模型。然而，当前的对抗技术仅能部分缓解模型偏差，且其训练过程往往不稳定。本文提出一种基于使用多个多样化判别器的对抗学习新方法，其中鼓励判别器彼此学习正交的隐藏表示。实验结果表明，在降低偏差和提升训练稳定性方面，我们的方法显著优于标准对抗去除方法。
引用
@article{arxiv.2101.10001,
title = {Diverse Adversaries for Mitigating Bias in Training},
author = {Xudong Han and Timothy Baldwin and Trevor Cohn},
journal= {arXiv preprint arXiv:2101.10001},
year = {2021}
}
备注
EACL 2021 (5 pages + 1 references)