通过理解与学习辅助文本翻译任务改进语音翻译

预训练与多任务学习被广泛用于提升语音到文本翻译的性能。在本研究中，我们关注于在辅助的文本到文本翻译任务之外训练一个语音到文本翻译模型。我们进行了详细的分析，以理解在多任务学习框架内辅助任务对主任务的影响。我们的分析证实，多任务学习倾向于从不同模态生成相似的解码器表示，并保留更多来自预训练文本翻译模块的信息。我们观察到两个任务之间几乎没有负迁移效应，且共享更多参数有助于将知识从文本任务迁移到语音任务。分析还揭示，顶层解码器层上的模态表示差异仍不可忽略，而这些层对翻译质量至关重要。受这些发现的启发，我们提出了三种方法来改进翻译质量。首先，提出一种参数共享与初始化策略以增强任务间的信息共享。其次，提出一种新颖的基于注意力的编码器正则化方法，将不同模态的表示拉得更近。第三，提出一种在线知识蒸馏以增强从文本到语音任务的知识迁移。我们的实验表明，所提方法相比强基线提升了超过 2 个 BLEU 的翻译性能，并在 \textsc{MuST-C} 英语-德语、英语-法语和英语-西班牙语语言对上取得了最先进的结果。