Peak-First CTC：通过峰值优先正则化降低 CTC 模型的峰值延迟
音频与语音处理
2023-03-17 v2 声音
摘要
CTC 模型因其结构简单、性能优异和推理速度快而被广泛应用于许多应用场景。CTC 模型预测的概率分布中存在许多峰值，每个峰值代表一个非空白 token。通过鼓励模型更早地预测峰值，可以降低 CTC 模型的识别延迟。现有的降低延迟的方法需要修改前向-后向算法中 token 之间的转移关系以及梯度计算，其中一些方法甚至依赖于其他预训练模型提供的强制对齐结果。上述方法实现复杂。为降低峰值延迟，我们提出了一种简单而新颖的方法，称为峰值优先正则化（peak-first regularization），它利用逐帧知识蒸馏函数迫使 CTC 模型的概率分布沿时间轴左移，而非直接修改 CTC 损失和梯度的计算过程。所有实验均在中文普通话数据集 AISHELL-1 上进行。我们分别验证了所提正则化在流式和非流式 CTC 模型上的有效性。结果表明，该方法可在识别精度几乎不下降的情况下将平均峰值延迟降低约 100 至 200 毫秒。
引用
@article{arxiv.2211.03284,
title = {Peak-First CTC: Reducing the Peak Latency of CTC Models by Applying Peak-First Regularization},
author = {Zhengkun Tian and Hongyu Xiang and Min Li and Feifei Lin and Ke Ding and Guanglu Wan},
journal= {arXiv preprint arXiv:2211.03284},
year = {2023}
}
备注
Accepted by ICASSP 2023(5 pages, 2 figures)