融合筛选知识：从多任务教师模型学习任务定制化的学生网络
机器学习
2019-05-29 v1
摘要
许多训练良好的卷积神经网络（CNN）模型现已由开发者发布于线上，以便轻松复现。在本文中，我们将此类预训练网络视为教师模型，并探索如何利用处理不同任务的多个教师模型，学习一个面向定制化任务的目标学生网络。我们假设没有人工标注数据可用，且每个教师模型可以是单任务或多任务网络，其中前者是后者的退化情形。学生模型根据定制化任务，从多个教师中筛选相关知识进行学习，最终掌握所有教师全部或部分的专业能力。为此，我们采用逐层训练策略，将待学习的学生网络块与相应教师模型相纠缠。在多个基准上的结果表明，所学学生网络取得了极具前景的结果，甚至在定制化任务上优于教师模型。
引用
@article{arxiv.1905.11569,
title = {Amalgamating Filtered Knowledge: Learning Task-customized Student from Multi-task Teachers},
author = {Jingwen Ye and Xinchao Wang and Yixin Ji and Kairi Ou and Mingli Song},
journal= {arXiv preprint arXiv:1905.11569},
year = {2019}
}
备注
Accepted by IJCAI 2019