DreamTeacher：利用深度生成模型预训练图像骨干网络

在本工作中，我们引入了一种自监督特征表示学习框架 DreamTeacher，该框架利用生成网络预训练下游图像骨干网络。我们提出将训练好的生成模型中的知识蒸馏到为特定感知任务精心设计的通用图像骨干网络中。我们研究了两类知识蒸馏：1) 将学到的生成特征蒸馏到目标图像骨干网络上，作为在 ImageNet 等大型标注数据集上预训练这些骨干网络的替代方案；2) 将生成网络通过任务头获得的标签蒸馏到目标骨干网络的 logits 上。我们在多个生成模型、密集预测基准和若干预训练机制上进行了广泛分析。我们通过实证发现，我们的 DreamTeacher 全面显著优于现有的自监督表示学习方法。使用 DreamTeacher 进行无监督 ImageNet 预训练，相比 ImageNet 分类预训练在下游数据集上带来显著提升，展示了生成模型（尤其是扩散生成模型）作为在大型多样化数据集上无需人工标注即可进行表示学习的一种有前景的方法。