像素级对比蒸馏

我们提出了一种简单而有效的像素级自监督蒸馏框架，对密集预测任务十分友好。我们的方法称为像素级对比蒸馏（Pixel-Wise Contrastive Distillation, PCD），通过吸引学生网络与教师网络输出特征图中对应的像素来蒸馏知识。PCD 包含一种称为 SpatialAdaptor 的新颖设计，其在保留输出特征分布的同时“重塑”教师网络的一部分。我们的消融实验表明，这种重塑行为实现了更具信息量的像素到像素蒸馏。此外，我们利用一个插件式多头自注意力模块，显式关联学生特征图的像素以增强有效感受野，从而得到更具竞争力的学生网络。PCD 在各种密集预测任务上优于以往的自监督蒸馏方法。使用 Mask R-CNN 检测器，由 PCD 蒸馏的 ResNet-18-FPN 骨干网络在 COCO 数据集上取得了 $37.4$ AP$^\text{bbox}$ 和 $34.0$ AP$^\text{mask}$。我们希望我们的研究能启发未来关于如何以自监督方式预训练对密集预测任务友好的小模型的研究。