基于混合专家 Wait-k 策略的通用同声机器翻译
计算与语言
2022-03-22 v3 人工智能
摘要
同声机器翻译（SiMT）在读完整个源句之前生成翻译，因此必须在翻译质量和延迟之间权衡。为满足实际应用中不同翻译质量和延迟的要求，以往方法通常需要为不同延迟级别训练多个 SiMT 模型，导致巨大的计算成本。本文中，我们提出一种具有混合专家 Wait-k 策略的通用 SiMT 模型，仅用单个训练模型即可在任意延迟下取得最佳翻译质量。具体而言，我们的方法采用多头注意力实现专家混合，其中每个头被视为具有自身等待词数的 wait-k 专家，给定测试延迟和源输入时，相应调整专家权重以产生最佳翻译。在三个数据集上的实验表明，我们的方法在不同延迟下优于所有强基线，包括最先进的自适应策略。
引用
@article{arxiv.2109.05238,
title = {Universal Simultaneous Machine Translation with Mixture-of-Experts Wait-k Policy},
author = {Shaolei Zhang and Yang Feng},
journal= {arXiv preprint arXiv:2109.05238},
year = {2022}
}
备注
Accepted at EMNLP 2021 (main conference). 12 pages, 7 figures, 4 tables