MetaMixer：一种用于在线知识蒸馏的正则化策略
计算机视觉与模式识别
2023-03-15 v1
摘要
在线知识蒸馏（KD）近年来受到越来越多的关注。然而，尽管大多数现有在线 KD 方法侧重于开发复杂的模型结构和训练策略以改进对概率分布等高级知识的蒸馏，但在线 KD 中多层次知识（尤其是低级知识）的作用被极大忽视。因此，为提供在线 KD 的新视角，我们提出 MetaMixer，一种正则化策略，可通过结合影响网络定位能力的低级知识与关注整幅图像的高级知识来加强蒸馏。不同条件下的实验表明，MetaMixer 相比最先进的方法能取得显著的性能提升。
引用
@article{arxiv.2303.07951,
title = {MetaMixer: A Regularization Strategy for Online Knowledge Distillation},
author = {Maorong Wang and Ling Xiao and Toshihiko Yamasaki},
journal= {arXiv preprint arXiv:2303.07951},
year = {2023}
}
备注
10 pages, 4 figures