用于同声翻译的非自回归流式 Transformer
计算与语言
2023-10-24 v1 人工智能
摘要
同声机器翻译（SiMT）模型在训练时需要在延迟与翻译质量之间取得平衡。然而，训练这些模型以在保持低延迟的同时实现高质量，往往会导致激进预测的趋势。我们认为这一问题源于大多数现有 SiMT 模型所基于的自回归架构。为解决这些问题，我们提出了非自回归流式 Transformer（NAST），其由一个单向编码器和一个具有块内并行性的非自回归解码器组成。我们使 NAST 能够生成空白符或重复符，以灵活调整其 READ/WRITE 策略，并通过基于对齐的延迟损失训练它最大化非单调潜在对齐。在各种 SiMT 基准上的实验表明，NAST 优于以往强大的自回归 SiMT 基线。
引用
@article{arxiv.2310.14883,
title = {Non-autoregressive Streaming Transformer for Simultaneous Translation},
author = {Zhengrui Ma and Shaolei Zhang and Shoutao Guo and Chenze Shao and Min Zhang and Yang Feng},
journal= {arXiv preprint arXiv:2310.14883},
year = {2023}
}
备注
EMNLP 2023 main conference; Source code is available at https://github.com/ictnlp/NAST