提升自监督学习的算法、模型与数据效率

自监督学习近年来发展迅速。然而，大多数主流方法计算成本高昂，并且依赖每张图像的两个（或更多）增强来构建正样本对。此外，它们主要关注大型模型和大规模数据集，在许多实际应用中缺乏灵活性和可行性。在本文中，我们提出了一种基于非参数实例判别的高效单分支SSL方法，旨在提升SSL的算法、模型和数据效率。通过分析梯度公式，我们修正了记忆库的更新规则，并提升了性能。我们进一步提出了一种新颖的自蒸馏损失，该损失最小化概率分布与其平方根版本之间的KL散度。我们表明这缓解了实例判别中更新不频繁的问题，并大大加速了收敛。我们系统地比较了不同方法在不同数据规模和不同骨干网络下的训练开销和性能。实验结果表明，我们的方法以显著更少的开销优于各种基线，并且对于有限的数据量和小型模型尤其有效。