Spiralformer: 基于循环层跳过和提前退出的流式语音识别低延迟编码器
音频与语音处理
2025-10-02 v1 计算与语言
声音
摘要
对于流式语音识别, Transformer 基于块处理的编码器被广泛使用. 虽然许多研究针对改进 transducer 的发射延迟, 但针对块处理编码器的编码延迟的工作仍有限. 我们通过频繁发射小位移的小块来减少延迟, 但这会导致更高的计算成本. 为了高效计算小块位移, 我们提出一种新的编码器 Spiralformer, 专为块处理设计, 结合层丢弃和提前退出. 我们以循环方式跳过层计算, 并在每个块中以螺旋方式平移已计算的层, 这样在块处理期间即可完成所有层的计算. 实验上, 我们观察到该方法在 Librispeech 上实现了 21.6% 的平均 token 发射延迟降低, 在 CSJ 上实现了 7.0% 的降低, 而保持类似的计算成本和词错率.
关键词
引用
@article{arxiv.2510.00982,
title = {Spiralformer: Low Latency Encoder for Streaming Speech Recognition with Circular Layer Skipping and Early Exiting},
author = {Emiru Tsunoo and Hayato Futami and Yosuke Kashiwagi and Siddhant Arora and Shinji Watanabe},
journal= {arXiv preprint arXiv:2510.00982},
year = {2025}
}
备注
Accepted for ASRU 2025