将神经机器翻译中的性别偏见缓解视为领域自适应问题

NLP 任务的训练数据常表现出性别偏见，即提及女性的句子少于提及男性的句子。在神经机器翻译（NMT）中，性别偏见已被证明会降低翻译质量，尤其是当目标语言具有语法性别时。近期的 WinoMT 挑战集使我们能够直接衡量这一影响（Stanovsky 等，2019）。理想情况下，我们只需在训练前对所有数据去偏即可降低系统偏见，但有效实现这一点本身是一项挑战。我们未尝试创建“平衡”数据集，而是在一小部分可信的性别平衡样本上使用迁移学习。该方法以远低于从头训练的计算成本，在性别去偏上给出了强劲且一致的改进。迁移学习在新领域上的一个已知缺陷是“灾难性遗忘”，我们在自适应和推理阶段均予以解决。在自适应期间，我们展示了弹性权重巩固（Elastic Weight Consolidation）能够在通用翻译质量和偏见消除之间进行性能权衡。在推理期间，我们提出了一种格子重打分方案，该方案在 WinoMT 上优于 Stanovsky 等（2019）评估的所有系统，且不降低通用测试集的 BLEU，并且我们展示该方案可应用于消除“黑盒”在线商业 MT 系统输出中的性别偏见。我们展示了我们的方法从英语翻译成三种具有不同语言特性和数据可用性的语言。