用于在线蒸馏的解耦知识与集成学习

离线蒸馏是一个两阶段流程，需要昂贵的资源来训练教师网络，然后将知识蒸馏给学生网络进行部署。另一方面，在线知识蒸馏是一种单阶段策略，通过相互学习和协作学习来缓解这一需求。最近的同伴协作学习（PCL）集成了在线集成、基础网络的协作和时序平均教师来构建有效的知识。然而，由于学生和教师之间的高度同质化，PCL中偶尔会出现模型坍塌。本文分析了高度同质化的原因并提出了解决方案。通过独立于学生的教师生成解耦知识用于在线知识蒸馏。这种设计可以增加网络之间的多样性，降低模型坍塌的可能性。为了获得早期的解耦知识，设计了一种教师初始化方案，并在理想条件下进行了基于二维几何的分析实验，以展示该方案的有效性。此外，为了提高教师的监督弹性，设计了一种衰减集成方案。该方案将教师的知识进行集成，并赋予一个动态权重，该权重在训练开始时较大，并随着训练过程逐渐减小。集成的知识在早期训练中充当强大的教师，而权重减小的集成知识可以消除在潜在过拟合教师监督下的分布偏差。进行了基于蒙特卡洛的模拟来评估收敛性。在CIFAR-10、CIFAR-100和TinyImageNet上的大量实验显示了我们的方法的优越性。消融研究和进一步分析证明了其有效性。