高效单调多头注意力机制
计算与语言
2023-12-08 v1
摘要
我们提出了高效单调多头注意力（EMMA），这是一种具有数值稳定且无偏单调对齐估计的最先进同声翻译模型。此外，我们提出了改进的训练和推理策略，包括从离线翻译模型进行同声微调以及减少单调对齐方差。实验结果表明，所提出的模型在西班牙语和英语翻译任务的语音到文本同声翻译中达到了最先进的性能。
引用
@article{arxiv.2312.04515,
title = {Efficient Monotonic Multihead Attention},
author = {Xutai Ma and Anna Sun and Siqi Ouyang and Hirofumi Inaguma and Paden Tomasello},
journal= {arXiv preprint arXiv:2312.04515},
year = {2023}
}