基于引导式停梯度的隐式对比表示学习

在自监督表示学习中，Siamese 网络是一种通过拉近正样本对的表示来学习变换不变性的自然架构。但这容易导致其坍缩为退化解。为解决这一问题，对比学习使用对比损失，通过推远负样本对的表示来防止坍缩。但已知带有负采样的算法对负样本数量的减少不具备鲁棒性。因此，另一方面，存在不使用负样本对的算法。许多仅使用正样本的算法采用由源编码器和目标编码器组成的非对称网络架构，作为应对坍缩的关键因素。通过利用这种非对称架构，我们引入了一种隐式融入对比学习思想的方法。作为其实现，我们提出了一种新方法：引导式停梯度。我们将该方法应用于基准算法 SimSiam 和 BYOL，结果表明我们的方法稳定了训练并提升了性能。我们还表明，采用我们方法的算法在较小的批大小下依然表现良好，并且在没有预测器时也不会发生坍缩。代码可在 https://github.com/bych-lee/gsg 获取。