实例袋聚合提升自监督蒸馏
计算机视觉与模式识别
2022-03-18 v2
摘要
自监督学习的最新进展取得了显著进步,尤其是基于对比学习的方法,其将每幅图像及其增强视为一个独立类别,并试图将其与所有其他图像区分开。然而,由于样本数量庞大,这类 pretext 任务本质上收敛缓慢且难以优化。对于小规模模型而言尤为如此,我们发现其性能相比有监督对应方法急剧下降。本文中,我们提出一种简单而有效的无监督学习蒸馏策略。其亮点在于相似样本间的关系至关重要,且可无缝迁移给学生以提升性能。我们的方法称为BINGO,即 Bag of InstaNces aGgregatiOn 的缩写,旨在将教师学到的关系迁移给学生。此处实例袋表示由教师构建并归组于一个袋内的一组相似样本,蒸馏的目标是针对袋内实例在学生上聚合紧凑表示。值得注意的是,BINGO在小规模模型上取得了新的SOTA性能,即在ImageNet上以线性评估分别获得65.5%和68.9%的top-1准确率,使用ResNet-18和ResNet-34作为骨干网络,大幅超越基线(52.5%和57.4%的top-1准确率)。代码见 https://github.com/haohang96/bingo。
引用
@article{arxiv.2107.01691,
title = {Bag of Instances Aggregation Boosts Self-supervised Distillation},
author = {Haohang Xu and Jiemin Fang and Xiaopeng Zhang and Lingxi Xie and Xinggang Wang and Wenrui Dai and Hongkai Xiong and Qi Tian},
journal= {arXiv preprint arXiv:2107.01691},
year = {2022}
}
备注
Published at ICLR 2022