基于最优传输的神经网络机器翻译词表学习
计算与语言
2021-11-29 v5
摘要
词表（token vocabulary）的选择影响机器翻译的性能。本文旨在弄清什么是好的词表，以及能否在不经试训练的情况下找到最优词表。为回答这些问题，我们首先从信息论角度提供对词表作用的一种另类理解。受此启发，我们将词表化（vocabularization）——寻找具有合适大小的最佳 token 词典——的追求表述为一个最优传输（OT）问题。我们提出 VOLT，一种无需试训练的简单高效解决方案。实证结果表明，在包括 WMT-14 英德翻译和 TED 的 52 个翻译方向在内的多种场景中，VOLT 优于广泛使用的词表。例如，在英德翻译上 VOLT 实现了近 70% 的词表大小缩减和 0.5 BLEU 提升。此外，与 BPE-search 相比，在英德翻译上 VOLT 将搜索时间从 384 GPU 小时减少到 30 GPU 小时。代码见 https://github.com/Jingjing-NLP/VOLT 。
引用
@article{arxiv.2012.15671,
title = {Vocabulary Learning via Optimal Transport for Neural Machine Translation},
author = {Jingjing Xu and Hao Zhou and Chun Gan and Zaixiang Zheng and Lei Li},
journal= {arXiv preprint arXiv:2012.15671},
year = {2021}
}
备注
Accepted by ACL 2021