提升基于内部声学模型训练和双空白阈值的混合自回归传感器ASR
音频与语音处理
2024-10-01 v1 计算与语言
声音
摘要
混合自回归传感器（HAT）是神经传感器的一个变体，分别对空白和非空白后验分布进行建模。本文提出了一种新颖的内部声学模型（IAM）训练策略来增强HAT-based语音识别。IAM由编码器和联合网络组成，两者完全共享并与HAT联合训练。这种联合训练不仅增强了HAT的训练效率，还鼓励IAM和HAT同步发射空白，从而跳过更昂贵的非空白计算，结果为更有效的空白阈值化处理提供了更快的解码。实验表明，与vanilla HAT相比，采用IAM的HAT在相对错误率降低方面具有统计显著性。此外，我们引入双空白阈值化，这结合了HAT和IAM的空白阈值化以及兼容的解码算法。这导致解码速度提高42-75%，而性能几乎不受影响。
引用
@article{arxiv.2409.20313,
title = {Boosting Hybrid Autoregressive Transducer-based ASR with Internal Acoustic Model Training and Dual Blank Thresholding},
author = {Takafumi Moriya and Takanori Ashihara and Masato Mimura and Hiroshi Sato and Kohei Matsuura and Ryo Masumura and Taichi Asami},
journal= {arXiv preprint arXiv:2409.20313},
year = {2024}
}
备注
Accepted to Interspeech 2024