条件式师生学习
机器学习
2019-04-30 v1 计算与语言
声音
音频与语音处理
机器学习
摘要
师生（T/S）学习已被证明对领域自适应和模型压缩等多种问题有效。T/S 学习的一个缺陷是：教师模型并非总是完美，会偶发性地以错误后验概率的形式给出错误引导，将学生模型误导至次优性能。为克服该问题，我们提出一种条件式 T/S 学习方案，其中“聪明”的学生模型根据教师能否正确预测真值，选择性地从教师模型或真值标签中学习。与两种知识源的朴素线性组合不同，条件式学习在教师模型预测正确时专一地跟随教师模型，否则回退至真值。因此，学生模型能有效地从教师学习，甚至潜在地超越教师。我们在两项任务上检验所提学习方案：CHiME-3 数据集上的领域自适应，以及 Microsoft 短消息听写数据集上的说话人自适应。相对于用于环境自适应的 T/S 学习和用于说话人自适应的说话人无关模型，所提方法分别实现了 9.8% 和 12.8% 的相对词错误率降低。
引用
@article{arxiv.1904.12399,
title = {Conditional Teacher-Student Learning},
author = {Zhong Meng and Jinyu Li and Yong Zhao and Yifan Gong},
journal= {arXiv preprint arXiv:1904.12399},
year = {2019}
}
备注
5 pages, 1 figure, ICASSP 2019