注意力作为同声语音翻译的引导
计算与语言
2023-10-19 v2
摘要
注意力机制的研究在语言建模与机器翻译等诸多领域引发了兴趣。尽管其模式已被用于执行不同任务，从神经网络理解到文本对齐，但此前尚无工作分析语音翻译（ST）中的编码器-解码器注意力行为，也未将其用于在特定任务上改进ST。本文通过提出一种基于注意力的策略（EDAtt）用于同声语音翻译（SimulST）来填补这一空白，该策略受现有音频输入与文本输出间注意力关系分析的启发。其目标是利用编码器-解码器注意力分数来实时引导推理。在en->{de, es}上的结果表明，EDAtt策略相比SimulST最优水平取得了更优的整体结果，尤其在计算感知延迟方面。
引用
@article{arxiv.2212.07850,
title = {Attention as a Guide for Simultaneous Speech Translation},
author = {Sara Papi and Matteo Negri and Marco Turchi},
journal= {arXiv preprint arXiv:2212.07850},
year = {2023}
}
备注
Accepted to ACL 2023