用于计算高效同声传译的隐式记忆 Transformer
计算与语言
2023-07-06 v1 机器学习
摘要
同声语音翻译是一项对人类而言困难的基本交流任务，即翻译随 incoming 语音输入同步生成。对于此类流式任务，采用分块处理将输入序列切分为段的 Transformer 已以更低代价取得最先进性能。当前允许信息跨段传播的方法（包括左上下文与记忆库）存在不足，因其既非充分表征，又计算开销不必要地高。本文提出一种隐式记忆 Transformer，通过一种新的左上下文方法隐式保留记忆，从而无需以记忆库显式表示记忆。我们根据前一段的注意力输出生成左上下文，并将其纳入当前段注意力计算的键与值中。在 MuST-C 数据集上的实验表明，与使用左上下文和记忆库的最先进方法相比，隐式记忆 Transformer 在编码器前向传播上实现了显著加速，且翻译质量几乎一致。
引用
@article{arxiv.2307.01381,
title = {Implicit Memory Transformer for Computationally Efficient Simultaneous Speech Translation},
author = {Matthew Raffel and Lizhong Chen},
journal= {arXiv preprint arXiv:2307.01381},
year = {2023}
}
备注
Accepted at Findings of ACL 2023