重新思考 ImageNet 预训练
计算机视觉与模式识别
2018-11-22 v1
摘要
我们报告了使用从随机初始化训练得到的标准模型在 COCO 数据集上实现具有竞争力的目标检测与实例分割结果。即便使用为微调预训练模型而优化的基线系统（Mask R-CNN）的超参数，这些结果也不逊于其 ImageNet 预训练对应模型，唯一的例外是增加了训练迭代次数以使随机初始化模型能够收敛。从随机初始化开始训练出奇地稳健；我们的结果在以下情况依然成立：(i) 仅使用 10% 的训练数据，(ii) 对于更深更宽的模型，以及 (iii) 对于多个任务和指标。实验表明，ImageNet 预训练在训练早期加速收敛，但不一定提供正则化或提升最终目标任务的精度。为了突破极限，我们展示了在不使用任何外部数据的情况下于 COCO 目标检测上达到 50.9 AP——这一结果与使用了 ImageNet 预训练的 COCO 2017 竞赛顶尖成绩相当。这些观察结果挑战了针对依赖任务的 ImageNet 预训练的常规认知，我们期望这些发现将鼓励人们重新思考计算机视觉中当前约定俗成的“预训练与微调”范式。
引用
@article{arxiv.1811.08883,
title = {Rethinking ImageNet Pre-training},
author = {Kaiming He and Ross Girshick and Piotr Dollár},
journal= {arXiv preprint arXiv:1811.08883},
year = {2018}
}
备注
Technical report