基于视觉文本表示的鲁棒开放词汇翻译
计算与语言
2021-12-13 v3
摘要
机器翻译模型具有离散词汇表，并通常使用子词分割技术来实现“开放词汇”。该方法依赖于一致且正确的底层 unicode 序列，并使模型易受常见噪声与变异的退化影响。受人类语言处理鲁棒性的启发，我们提出使用视觉文本表示，其弃用有限的文本嵌入集合，转而通过滑动窗口处理视觉渲染的文本来创建连续词汇表。我们表明，使用视觉文本表示的模型在小型与较大数据集上接近或匹敌传统文本模型的性能。更重要的是，具有视觉嵌入的模型对各类噪声表现出显著鲁棒性，例如在字符置换的德英翻译任务上取得 25.9 BLEU，而子词模型退化为 1.9。
引用
@article{arxiv.2104.08211,
title = {Robust Open-Vocabulary Translation from Visual Text Representations},
author = {Elizabeth Salesky and David Etter and Matt Post},
journal= {arXiv preprint arXiv:2104.08211},
year = {2021}
}
备注
EMNLP 2021 + additional appendix