探究基于 CTC 的非自回归端到端语音翻译中的重排序能力
计算与语言
2021-05-12 v1
摘要
我们研究了使用连接时序分类（CTC）构建非自回归语音到文本翻译模型的可能性，并使用基于 CTC 的自动语音识别作为辅助任务来提升性能。CTC 在翻译上的成功有违直觉，因其单调性假设，因此我们分析了其重排序能力。我们引入 Kendall's tau 距离作为量化指标，并基于梯度的可视化提供了一种直观方式来更深入地观察模型。我们的分析表明 transformer 编码器具备改变词序的能力，并指出未来值得在 non-autoregressive speech translation（非自回归语音翻译）上进一步探索的研究方向。
引用
@article{arxiv.2105.04840,
title = {Investigating the Reordering Capability in CTC-based Non-Autoregressive End-to-End Speech Translation},
author = {Shun-Po Chuang and Yung-Sung Chuang and Chih-Chiang Chang and Hung-yi Lee},
journal= {arXiv preprint arXiv:2105.04840},
year = {2021}
}
备注
Accepted in Findings of ACL-IJCNLP 2021