重新审视监督预训练的可迁移性：一个 MLP 视角
计算机视觉与模式识别
2022-03-29 v3
摘要
预训练-微调范式是视觉学习中的经典流程。无监督预训练方法的最新进展显示出优于其监督对应方法的可迁移性能。本文重新审视这一现象，并从多层感知机（MLP）视角为理解无监督与监督预训练之间的可迁移性差距提供了新见解。先前工作聚焦于 MLP 在同数据集上无监督图像分类中的有效性，而我们揭示 MLP 投影头也是无监督预训练方法比监督预训练方法具有更好可迁移性的关键因素。基于该观察，我们尝试通过在监督预训练的分类器前添加 MLP 投影头来缩小监督与无监督预训练间的可迁移性差距。我们的分析表明，MLP 投影头有助于保留视觉特征的类内差异、减小预训练与评估数据集间的特征分布距离，并降低特征冗余。在公开基准上的大量实验表明，所添加的 MLP 投影头显著提升了监督预训练的可迁移性，例如在概念泛化任务上 top-1 准确率提升 7.2%，在 12 个域分类任务上线性评估的 top-1 准确率提升 5.8%，在 COCO 目标检测任务上 AP 提升 0.8%，使监督预训练可与无监督预训练相媲美甚至更优。
引用
@article{arxiv.2112.00496,
title = {Revisiting the Transferability of Supervised Pretraining: an MLP Perspective},
author = {Yizhou Wang and Shixiang Tang and Feng Zhu and Lei Bai and Rui Zhao and Donglian Qi and Wanli Ouyang},
journal= {arXiv preprint arXiv:2112.00496},
year = {2022}
}
备注
Accepted by CVPR 2022. [camera ready with supplement]