基于 CTC 的非自回归语音翻译
计算与语言
2023-05-30 v1
摘要
将端到端语音翻译（ST）与非自回归（NAR）生成相结合，因其在减少错误传播和低延迟方面的优势，在语言与语音处理中颇具前景。本文研究了连接主义时序分类（CTC）在非自回归语音翻译（NAST）中的潜力。具体而言，我们开发了一个由两个编码器组成的模型，它们在 CTC 引导下分别预测源语言和目标语言文本。在 NAST 的两侧语言引入 CTC 存在明显挑战：1）条件独立生成在一定程度上打破了词符间的相互依赖；2）标准 CTC 中的单调对齐假设在翻译任务中不成立。为此，我们开发了预测感知编码方法和跨层注意力方法来解决这些问题。我们还使用课程学习来改善训练收敛。在 MuST-C ST 基准上的实验表明，我们的 NAST 模型取得了平均 29.5 的 BLEU 分数，加速比为 5.67，可与自回归对应模型相媲美，甚至以 0.9 个 BLEU 点超越先前最佳结果。
引用
@article{arxiv.2305.17358,
title = {CTC-based Non-autoregressive Speech Translation},
author = {Chen Xu and Xiaoqian Liu and Xiaowen Liu and Qingxuan Sun and Yuhao Zhang and Murun Yang and Qianqian Dong and Tom Ko and Mingxuan Wang and Tong Xiao and Anxiang Ma and Jingbo Zhu},
journal= {arXiv preprint arXiv:2305.17358},
year = {2023}
}
备注
ACL 2023 Main Conference