通过自适应知识合并从异构教师网络定制学生网络

开发者已在线上发布了大量训练良好的深度网络。这些网络可能聚焦于不同任务,且在许多情况下针对不同的数据集做了优化。本文中,我们研究如何利用这些被称为教师的异构预训练网络,以训练一个定制的学生网络来处理用户定义的一组选择性任务。我们假设无人工标注可用,且每位教师可能是单任务或多任务。为此,我们引入一种双步策略:首先从共享同一子任务的异构教师中提取任务特定知识,随后合并所提取知识以构建学生网络。为便于训练,我们采用选择性学习方案,即对每個无标签样本,学生仅自适应地从预测模糊性最小的教师处学习。我们在多个数据集上评估所提方法,实验结果表明,通过此种自适应知识合并学习的学生网络取得了甚至优于教师网络的性能。