基于模块化的策略用于消除同时语音翻译中的梯度冲突
计算与语言
2024-12-31 v3 声音
音频与语音处理
摘要
同时语音翻译（SimulST）涉及在持续处理流式语音输入的同时生成目标语言文本， presents significant real-time challenges。多任务学习常用于提高SimulST性能，但会在主要任务和辅助任务之间引入优化冲突，可能损害整体效率。现有的模型级冲突解决方法不适用于该任务，导致效率低下并引发高GPU内存消耗。为解决这些挑战，我们提出了一种模块化梯度冲突缓解（MGCM）策略，该策略在更细粒度的模块级别检测冲突，并利用梯度投影进行解决。实验结果表明，MGCM显著提高了SimulST性能，尤其是在中等和高延迟条件下，在离线任务中实现了0.68的BLEU得分提升。此外，MGCM比其他冲突缓解方法的GPU内存消耗降低了超过95%，确立了其作为SimulST任务中稳健解决方案的地位。
引用
@article{arxiv.2409.15911,
title = {A Modular-based Strategy for Mitigating Gradient Conflicts in Simultaneous Speech Translation},
author = {Xiaoqian Liu and Yangfan Du and Jianjin Wang and Yuan Ge and Chen Xu and Tong Xiao and Guocheng Chen and Jingbo Zhu},
journal= {arXiv preprint arXiv:2409.15911},
year = {2024}
}
备注
Accepted to ICASSP 2025