论视觉自监督及其对模型鲁棒性的影响

最近的自监督方法在学习特征表示方面取得了成功，其表示能力可与全监督方法相媲美，并已被证明在多个方面对模型有益：例如提高模型的鲁棒性和分布外检测能力。在本文中，我们进行了一项实证研究，以更精确地理解自监督学习——作为预训练技术或对抗训练的一部分——如何影响模型对 $l_2$ 和 $l_{\infty}$ 对抗扰动以及自然图像损坏的鲁棒性。自监督确实可以提高模型的鲁棒性，然而细节决定成败。如果简单地将自监督损失与对抗训练叠加使用，那么在评估时，若对抗扰动小于或约等于鲁棒模型训练所用的 $\epsilon_{train}$ 值，模型准确率会有所提升。然而，当观察 $\epsilon_{test} \ge \epsilon_{train}$ 时的准确率，模型准确率反而下降。事实上，自监督损失的权重越大，性能下降幅度越大，即损害了模型的鲁棒性。我们确定了将自监督加入对抗训练的主要方式，并观察到使用自监督损失同时优化网络参数和寻找对抗样本能带来模型鲁棒性的最大提升，因为这可以视为一种集成对抗训练的形式。尽管与随机权重初始化相比，自监督预训练在改善对抗训练方面有所裨益，但我们观察到，如果将自监督直接整合进对抗训练中，对模型鲁棒性或准确率并无益处。