跨模态鲁棒性迁移(CMRT): 利用对抗性文本训练鲁棒的语音翻译模型
计算与语言
2026-02-13 v1
摘要
端到端语音翻译(E2E-ST)取得了显著进展，然而当前模型主要是在经过精心整理的“干净”数据集上进行基准测试。这忽略了关键的现实世界挑战，例如对非母语或方言语音中常见的屈折变化的形态鲁棒性。在这项工作中，我们将一种针对屈折形态的基于文本的对抗性攻击方法适配到语音领域，并证明了最先进的E2E-ST模型对此高度脆弱。虽然对抗性训练能有效缓解基于文本的任务中的此类风险，但生成高质量的对抗性语音数据在计算上仍然昂贵且技术上具有挑战性。为了解决这个问题，我们提出了跨模态鲁棒性迁移(CMRT)，一个将对抗鲁棒性从文本模态迁移到语音模态的框架。我们的方法消除了在训练期间对对抗性语音数据的需求。跨四个语言对的广泛实验表明，CMRT平均将对抗鲁棒性提高了超过3个BLEU点，为鲁棒的E2E-ST建立了一个新的基线，而无需生成对抗性语音的开销。
引用
@article{arxiv.2602.11933,
title = {Cross-Modal Robustness Transfer (CMRT): Training Robust Speech Translation Models Using Adversarial Text},
author = {Abderrahmane Issam and Yusuf Can Semerci and Jan Scholtes and Gerasimos Spanakis},
journal= {arXiv preprint arXiv:2602.11933},
year = {2026}
}