机器翻译偏置的不确定性量化
计算与语言
2025-10-22 v2
摘要
机器翻译（MT）模型的预测不确定性通常用作质量估计的代理。在本工作中，我们认为除了在存在单一正确翻译时保持确定性外，模型也应在输入模糊时保持不确定性。我们利用不确定性来衡量 MT 系统中的性别偏置。当源句子包含一个性别未明确标记的词时，但其目标语言等价词需要性别指定，模型必须从上下文中推断 appropriate 的性别，并且可能受到偏置的影响。以往的工作通过性别准确率来衡量偏置，但无法用于模糊情况。通过语义不确定性，我们能够评估在翻译既有模糊又有明确的源句子时的偏置，并发现高翻译准确率并不与适当地表现不确定性相关联，去偏置也对这两种情况的影响不同。
引用
@article{arxiv.2507.18338,
title = {Uncertainty Quantification for Evaluating Machine Translation Bias},
author = {Ieva Raminta Staliūnaitė and Julius Cheng and Andreas Vlachos},
journal= {arXiv preprint arXiv:2507.18338},
year = {2025}
}