自监督预训练中旋转角度的影响依赖于数据集

用于预训练的自监督学习(SSP)有助于网络学习更好的低级特征，尤其是在训练集规模较小时。在对比预训练中，网络被预训练以区分输入的不同版本。例如，网络学习区分图像对(原始图像、旋转图像)，其中旋转图像被旋转了角度$\theta$，以及其他图像对。在这项工作中，我们表明，当以这种方式使用对比预训练进行训练时，角度$\theta$和数据集以有趣的方式相互作用。我们假设并给出一些证据表明，对于某些数据集，网络可以根据输入中梯度方向的分布，针对特定的旋转角度$\theta$采取“捷径”，可能避免学习除边缘之外的特征，但我们的实验似乎不支持这一假设。我们在三个放射学数据集上进行了实验。我们计算了指示SSP过程中哪些像素重要的显著性图，并将显著性图与真实前景/背景分割进行了比较。我们的可视化表明，SSP中旋转角度的影响是依赖于数据集的。我们认为梯度方向的分布可能在其中起作用，但迄今为止我们的实验尚无定论。