SALTED：一种用于显著长尾翻译错误检测的框架
计算与语言
2022-05-23 v1 人工智能
摘要
传统的机器翻译（MT）指标提供翻译质量的平均度量，对 MT 中长尾的行为问题不敏感。例子包括数字、物理单位、内容遗漏与幻觉的翻译。这些错误在神经机器翻译（NMT）中罕见且不可预测地出现，极大损害了最先进 MT 系统的可靠性。因此，在模型开发过程中对这些问题具备可见性十分重要。朝此方向，我们引入了 SALTED，一个基于规范的 MT 模型行为测试框架，提供显著长尾错误的细粒度视图，允许对先前不可见的问题获得可信的可见性。我们方法的核心是高精度检测器的开发，用于在源句子与系统输出之间标记错误（或 alternatively，验证输出正确性）。我们展示了此类检测器不仅可用于识别 MT 系统中的显著长尾错误，还可用于训练数据的高召回过滤、通过 NMT 中的模型微调修复针对性错误，以及生成用于蜕变测试的新数据以引发模型中的进一步缺陷。
引用
@article{arxiv.2205.09988,
title = {SALTED: A Framework for SAlient Long-Tail Translation Error Detection},
author = {Vikas Raunak and Matt Post and Arul Menezes},
journal= {arXiv preprint arXiv:2205.09988},
year = {2022}
}