HENT-SRT：用于联合语音识别与翻译的带自蒸馏的分层高效神经转换器
计算与语言
2025-06-04 v1 音频与语音处理
摘要
神经转换器（NT）为语音流处理提供了一个有效的框架，在自动语音识别（ASR）中表现出色。然而，将 NT 应用于语音翻译（ST）仍具挑战性，因为现有方法在联合建模 ASR 和 ST 时难以处理词重排序并出现性能退化，导致其与基于注意力的编码器-解码器（AED）模型之间存在差距。现有的基于 NT 的 ST 方法还存在计算训练成本高的问题。为了解决这些问题，我们提出了 HENT-SRT（用于语音识别与翻译的分层高效神经转换器），这是一种将 ASR 和翻译任务进行分解以更好处理重排序的新框架。为了在保持 ASR 性能的同时确保稳健的 ST，我们使用了带有 CTC 一致性正则化的自蒸馏。此外，我们通过引入 ASR 转换器的最佳实践来提高计算效率，包括下采样分层编码器、无状态预测器和剪枝转换器损失，以降低训练复杂度。最后，我们在解码过程中引入了空白惩罚，减少了删除错误并提高了翻译质量。我们的方法在阿拉伯语、西班牙语和普通话三个对话数据集上进行了评估，在 NT 模型中实现了新的 SOTA 性能，并大幅缩小了与基于 AED 系统的差距。
引用
@article{arxiv.2506.02157,
title = {HENT-SRT: Hierarchical Efficient Neural Transducer with Self-Distillation for Joint Speech Recognition and Translation},
author = {Amir Hussein and Cihan Xiao and Matthew Wiesner and Dan Povey and Leibny Paola Garcia and Sanjeev Khudanpur},
journal= {arXiv preprint arXiv:2506.02157},
year = {2025}
}