SimReg：回归作为自监督知识蒸馏的简单有效工具
计算机视觉与模式识别
2022-01-14 v1
摘要
特征回归是将大型神经网络模型蒸馏为小型模型的一种简单方法。我们表明，只需对网络架构进行简单修改，回归便能优于那些用于自监督模型知识蒸馏的更为复杂的 SOTA 方法。令人惊讶的是，在 CNN 主干网络中加入多层感知机头部是有益的，即使它仅在蒸馏期间使用并在下游任务中被丢弃。因此，可以使用更深的非线性投影来精确模仿教师网络，而无需改变推理架构与时间。此外，我们利用独立的投影头同时蒸馏多个教师网络。我们还发现，为教师和学生网络输入相同的弱增强图像有助于蒸馏。在 ImageNet 数据集上的实验证明了所提修改在各种自监督蒸馏设置中的有效性。
引用
@article{arxiv.2201.05131,
title = {SimReg: Regression as a Simple Yet Effective Tool for Self-supervised Knowledge Distillation},
author = {K L Navaneet and Soroush Abbasi Koohpayegani and Ajinkya Tejankar and Hamed Pirsiavash},
journal= {arXiv preprint arXiv:2201.05131},
year = {2022}
}
备注
In BMVC 2021. Code available at: https://github.com/UCDvision/simreg