HAINAN：面向混合自回归语音识别的快速且准确的转换器
机器学习
2025-05-06 v3
摘要
我们提出了混合自回归 INference TrANsducers（HAINAN），一种用于语音识别的新型体系结构，扩展了 Token-and-Duration Transducer（TDT）模型。通过对预测网络输出进行随机遮蔽训练，HAINAN支持所有网络组件的自回归推理以及无预测器的非自回归推理。此外，我们提出了一种新型半自回归推理范式：首先使用非自回归推理生成初始假设，然后通过在初始假设上进行并行自回归重新生成每个标记。在多个不同语言的数据集上进行实验表明，HAINAN在非自回归模式下实现了与 CTC 相同的效率，在自回归模式下实现了与 TDT 相同的效率。就准确性而言，自回归 HAINAN 超过了 TDT 和 RNN-T，而非自回归 HAINAN 显著超过了 CTC。半自回归推理进一步以最小的计算开销提高了模型的准确性，甚至在某些情况下也超过了 TDT 结果。这些结果突显了 HAINAN 在准确性和速度之间灵活权衡的潜力，使其成为真实世界语音识别应用的强有力候选人。
引用
@article{arxiv.2410.02597,
title = {HAINAN: Fast and Accurate Transducer for Hybrid-Autoregressive ASR},
author = {Hainan Xu and Travis M. Bartley and Vladimir Bataev and Boris Ginsburg},
journal= {arXiv preprint arXiv:2410.02597},
year = {2025}
}