Oracle Teacher：利用目标信息改进CTC模型的知识蒸馏
机器学习
2023-08-14 v4 音频与语音处理
图像与视频处理
摘要
知识蒸馏（KD）作为模型压缩的有效方法而广为人知，旨在将较大网络（教师）的知识迁移到小得多的网络（学生）。常规 KD 方法通常采用以监督方式训练的教师模型，其中输出标签仅被当作目标。我们将此监督方案进一步扩展，针对基于连接时序分类（CTC）的序列模型引入一种新型教师模型，即 Oracle Teacher，其将源输入和输出标签均作为教师模型的输入。由于 Oracle Teacher 通过参考目标信息学习到更精确的 CTC 对齐，它可为学生提供最优性更强的指导。所提方法的一个潜在风险是模型输出直接复制目标输入的平凡解。基于 CTC 算法的多对一映射特性，我们提出一种能有效防止平凡解的训练策略，从而支持利用源输入和目标输入进行模型训练。我们在两项序列学习任务——语音识别和场景文本识别上进行了充分实验。实验结果表明，所提模型在这些任务上提升了学生模型性能，同时使教师模型训练时间显著加速。
引用
@article{arxiv.2111.03664,
title = {Oracle Teacher: Leveraging Target Information for Better Knowledge Distillation of CTC Models},
author = {Ji Won Yoon and Hyung Yong Kim and Hyeonseung Lee and Sunghwan Ahn and Nam Soo Kim},
journal= {arXiv preprint arXiv:2111.03664},
year = {2023}
}
备注
Accepted by IEEE/ACM Transactions on Audio, Speech and Language Processing