用于在线互知识蒸馏的特征融合
计算机视觉与模式识别
2020-07-22 v2
摘要
我们提出了一种称为特征融合学习(FFL)的学习框架，它通过一个融合模块组合由并行神经网络生成的特征图来高效训练一个强大的分类器。具体而言，我们训练若干并行神经网络作为子网络，然后使用融合模块组合来自每个子网络的特征图以创建更有意义的特征图。融合后的特征图被传入融合分类器进行整体分类。与现有特征融合方法不同，在我们的框架中，子网络分类器的集成将其知识迁移给融合分类器，然后融合分类器将其知识回传给每个子网络，以在线知识蒸馏的方式相互教学。这种互教系统不仅提升了融合分类器的性能，还使每个子网络获得性能增益。此外，我们的模型更具优势，因为可为每个子网络使用不同类型的网络。我们在 CIFAR-10、CIFAR-100 和 ImageNet 等多个数据集上进行了大量实验，并证明我们的方法在子网络和融合分类器的性能方面均优于其他替代方法。
引用
@article{arxiv.1904.09058,
title = {Feature Fusion for Online Mutual Knowledge Distillation},
author = {Jangho Kim and Minsung Hyun and Inseop Chung and Nojun Kwak},
journal= {arXiv preprint arXiv:1904.09058},
year = {2020}
}
备注
International Conference on Pattern Recognition