ORC：基于网络分组并利用在线角色变更的知识蒸馏
机器学习
2023-08-09 v2 人工智能
摘要
在知识蒸馏中，由于单一全能的教师网络无法解决所有问题，近期已有基于多个教师的知识蒸馏研究。然而，有时其改进效果不如预期，因为某些不成熟的教师可能向学生传递错误的知识。在本文中，为克服这一局限并发挥多网络的优势，我们分别将多个网络划分为教师组和学生组。即，学生组是一组需要学习教师知识的不成熟网络，而教师组由被选中的、能够成功施教的网络构成。我们提出在线角色变更策略，学生组中排名靠前的网络在每次迭代时均可晋升至教师组。在利用学生组的误差样本训练教师组以精炼其知识后，我们成功地将协作知识从教师组迁移至学生组。我们在 CIFAR-10、CIFAR-100 和 ImageNet 上验证了所提方法的优越性，其取得了高性能。我们进一步通过 ResNet、WRN、VGG、Mobilenet 和 Shufflenet 等多种骨干架构展示了方法的通用性。
引用
@article{arxiv.2206.01186,
title = {ORC: Network Group-based Knowledge Distillation using Online Role Change},
author = {Junyong Choi and Hyeon Cho and Seokhwa Cheung and Wonjun Hwang},
journal= {arXiv preprint arXiv:2206.01186},
year = {2023}
}
备注
Accepted at ICCV 2023; Supplementary material would be found at CVF Open Access