在下游任务中应用内在去偏：机器翻译的挑战与考量
计算与语言
2024-06-04 v1
摘要
大多数关于性别偏见的工作都关注内在偏见——从模型内部表示中移除关于受保护群体的信息痕迹。然而，这些工作通常与这种去偏对下游应用的影响脱节，而去偏的主要动机正是下游应用。在这项工作中，我们通过在不同设计选择下测量神经机器翻译系统的外在偏见，系统地测试了内在去偏方法如何影响神经机器翻译模型。我们强调了去偏技术与其最终目标使用之间的三个挑战和不匹配，包括要去偏的嵌入选择、单词与子词标记去偏之间的不匹配，以及对不同目标语言的影响。我们发现这些考量对下游性能和去偏的成功有显著影响。
引用
@article{arxiv.2406.00787,
title = {Applying Intrinsic Debiasing on Downstream Tasks: Challenges and Considerations for Machine Translation},
author = {Bar Iluz and Yanai Elazar and Asaf Yehudai and Gabriel Stanovsky},
journal= {arXiv preprint arXiv:2406.00787},
year = {2024}
}