用于同步机器翻译的自修改状态建模
计算与语言
2024-06-05 v1
摘要
同步机器翻译(SiMT)在接收流式源输入的同时生成目标输出,需要一种读写策略来决定是等待下一个源标记还是生成新的目标标记,其决策形成一条决策路径。现有的SiMT方法通过探索各种决策路径来学习策略,面临内在局限:这些方法不仅无法准确评估每个决策对SiMT性能的个体影响,还无法由于决策路径数量庞大而充分探索所有潜在路径。此外,构建决策路径需要单向编码器来模拟流式源输入,这损害了SiMT模型的翻译质量。为解决这些问题,我们提出了自修改状态建模(SM),这是一种用于SiMT任务的新型训练范式。无需构建决策路径,SM在训练期间对每个状态的每个决策进行独立优化。为精确优化策略,SM引入自修改过程来独立评估和调整每个状态的决策。为充分探索,SM提出前缀抽样来高效遍历所有潜在状态。此外,SM确保与双向编码器兼容,从而实现更高的翻译质量。实验表明,SM优于强大的基线方法。此外,SM允许离线机器翻译模型通过微调获得SiMT能力。
引用
@article{arxiv.2406.02237,
title = {Self-Modifying State Modeling for Simultaneous Machine Translation},
author = {Donglei Yu and Xiaomian Kang and Yuchen Liu and Yu Zhou and Chengqing Zong},
journal= {arXiv preprint arXiv:2406.02237},
year = {2024}
}
备注
Accept to ACL 2024 main conference. 15 pages, 13 figures, 9 tables