中间层在动量对比自监督学习中至关重要
计算机视觉与模式识别
2021-10-29 v1 人工智能
摘要
我们表明，在自监督学习中将一张图像的两个增强版本的中间层表示拉近，有助于改进动量对比（MoCo）方法。为此，除对比损失外，我们最小化中间层表示之间的均方误差，或使其互相关矩阵接近单位矩阵。在三个不同的医学影像数据集（NIH-Chest Xrays、Breast Cancer Histopathology 和 Diabetic Retinopathy）上，这两种损失目标均优于标准MoCo或取得相近性能。改进MoCo的收益在低标注数据情形（例如1%标注数据）下尤其显著，在三个数据集上平均提升5%。我们通过特征相似性分析和逐层探测分析采用我们新方法训练的模型。我们的分析揭示，相较标准MoCo，用我们方法训练的模型具有更高的特征复用率，并在网络中更早学习到信息性特征。最后，通过比较在小型与大型标注数据上微调的模型输出概率分布，我们得出结论：相较标准MoCo，我们提出的预训练方法导致更低的Kolmogorov-Smirnov距离。这提供了额外证据，表明我们提出的方法在预训练阶段学到了更具信息性的特征，可在低标注数据情形下加以利用。
引用
@article{arxiv.2110.14805,
title = {Intermediate Layers Matter in Momentum Contrastive Self Supervised Learning},
author = {Aakash Kaku and Sahana Upadhya and Narges Razavian},
journal= {arXiv preprint arXiv:2110.14805},
year = {2021}
}
备注
Accepted at NeurIPS 2021 (main conference)