着色作为视觉理解的代理任务

我们研究并改进了自监督学习，作为 ImageNet 预训练的即插即用替代方案，聚焦于自动着色作为代理任务。自监督训练已被证明在利用无标签数据方面比其他传统无监督学习方法更有前景。我们基于这一成功，在多个场景下评估了自监督网络的能力。在 VOC 分割与分类任务上，我们展示了在不使用 ImageNet 标签预训练表征的方法中达到最先进水平的结果。此外，我们首次对通过着色进行的自监督学习进行了深入分析，得出结论：损失函数的构建、训练细节和网络架构对其有效性起着重要作用。通过重新审视 ImageNet 预训练范式，这一研究得到进一步扩展，我们提出了诸如：需要多少训练数据？需要多少标签？微调时特征变化有多大？等问题。我们通过展示着色提供了与各种 ImageNet 预训练方式同样强大的监督信号，将这些问题的答案与自监督学习联系起来。