基于有限状态转录机实现的延迟惩罚 CTC
音频与语音处理
2023-05-22 v1
摘要
连接主义时序分类（CTC）在应用于流式模型时存在延迟问题。我们认为，在 CTC 格点中，训练过程中更倾向于那些能访问更多未来上下文的对齐，从而导致更高的符号延迟。本工作中我们提出延迟惩罚 CTC，其通过引入延迟惩罚正则化进行增强。我们基于可微有限状态转录机（FST）设计了一种灵活高效的实现方式。具体而言，通过向 CTC 拓扑附加一个二元属性，我们可在生成的 CTC 格点上定位首次发出非空白符的帧，并将帧偏移量加到对数概率上。实验结果证明了我们所提延迟惩罚 CTC 的有效性，其能够平衡延迟-准确率权衡。此外，结合延迟惩罚转录机可使 CTC 模型获得更优性能与更低延迟。我们的工作已开源并公开于 https://github.com/k2-fsa/k2。
引用
@article{arxiv.2305.11539,
title = {Delay-penalized CTC implemented based on Finite State Transducer},
author = {Zengwei Yao and Wei Kang and Fangjun Kuang and Liyong Guo and Xiaoyu Yang and Yifan Yang and Long Lin and Daniel Povey},
journal= {arXiv preprint arXiv:2305.11539},
year = {2023}
}
备注
Accepted in INTERSPEECH 2023