自监督表示学习中没有免费午餐

计算机视觉中的自监督表示学习严重依赖手工设计的图像变换来学习有意义且不变的特征。然而文献中很少对变换设计的影响进行广泛探索。特别是，下游性能对变换设计的依赖性已被确立，但未深入研究。本工作中，我们探索这一关系、其对自然图像以外领域的影响，并表明变换设计可视为一种监督形式。首先，我们证明变换不仅影响下游性能与聚类的相关性，而且监督数据集中的每个类别可能受到不同方式的影响。此后，我们探索变换设计对显微图像的影响，该领域中类间差异比自然图像更微妙模糊。此情况下，我们观察到对下游任务性能的更大影响。最后，我们证明变换设计可作为监督形式加以利用，因为领域专家仔细选取这些变换可令给定下游任务性能大幅提升。