HalOmi：用于机器翻译中多语言幻觉与遗漏检测的手动标注基准
计算与语言
2023-12-07 v2
摘要
机器翻译中的幻觉是指包含与输入完全无关信息的翻译。遗漏是指未包含部分输入信息的翻译。虽然这两种情况往往是破坏用户信任的灾难性错误，但带有此类问题的标注数据极其稀缺，且仅限于少数高资源语言。在这项工作中，我们发布了一个针对幻觉与遗漏现象的标注数据集，涵盖18个具有不同资源水平和文字系统的翻译方向。我们的标注覆盖了句子和词级别的部分与完全幻觉以及遗漏。此外，我们重新审视了先前用于幻觉与遗漏检测的方法，表明基于单一语言对得出的结论在很大程度上不适用于大规模评估，并建立了新的可靠基线。
引用
@article{arxiv.2305.11746,
title = {HalOmi: A Manually Annotated Benchmark for Multilingual Hallucination and Omission Detection in Machine Translation},
author = {David Dale and Elena Voita and Janice Lam and Prangthip Hansanti and Christophe Ropers and Elahe Kalbassi and Cynthia Gao and Loïc Barrault and Marta R. Costa-jussà},
journal= {arXiv preprint arXiv:2305.11746},
year = {2023}
}