BAT：用于内存高效与低延迟 ASR 的边界感知转导器
音频与语音处理
2023-05-22 v1
摘要
近来，循环神经网络转导器（recurrent neural network transducer, RNN-T）因其天然的流式能力以及优越性能而日益受到欢迎。然而，RNN-T 训练需要大量时间与计算资源，因为 RNN-T 损失计算缓慢且消耗大量内存。RNN-T 的另一局限在于其往往为获得更好性能而访问更多上下文，从而在流式 ASR 中导致更高的发射延迟。本文中我们提出边界感知转导器（boundary-aware transducer, BAT）以实现内存高效与低延迟 ASR。在 BAT 中，用于 RNN-T 损失计算的格点被缩减为由连续积分触发（continuous integrate-and-fire, CIF）对齐所选定的受限区域，其与 RNN-T 模型联合优化。大量实验表明，与 RNN-T 相比，BAT 在训练中显著减少了时间与内存消耗，并在流式 ASR 推理中实现了良好的 CER-延迟权衡。
引用
@article{arxiv.2305.11571,
title = {BAT: Boundary aware transducer for memory-efficient and low-latency ASR},
author = {Keyu An and Xian Shi and Shiliang Zhang},
journal= {arXiv preprint arXiv:2305.11571},
year = {2023}
}
备注
accepted into INTERSPEECH2023