分析 Blank 在基于 CTC 的知识蒸馏中的重要性

随着用于自动语音识别的大型预训练基础模型的兴起，出现了新的挑战。虽然这些模型的性能良好，但推理的运行时间和成本增加了。在训练过程中将其知识蒸馏到较小的模型是一种在保持效率的同时利用其优势的方法。在这项工作中，我们探索了不同的基于 CTC 的蒸馏变体，重点关注 blank token 的处理。我们表明，像 blank 消除这样的常见方法并不总是能直接开箱即用。我们探索了新的 blank 选择模式，作为标准知识蒸馏和 blank 消除机制之间的潜在最佳折中方案。通过引入对称选择方法，我们能够在知识蒸馏期间移除 CTC 损失，且性能下降极小甚至没有下降。借此，我们使训练独立于目标标签，从而有可能在未转录的音频数据上进行蒸馏。