攻克 ImageNet：一种将任意骨干网络训练至顶尖结果的统一方案
计算机视觉与模式识别
2022-05-13 v2 机器学习
摘要
ImageNet 是评估计算机视觉模型质量的主要数据集。当前普遍的做法是为每种架构设计并调整一套量身定制的训练方案，这通常由专家完成。本文提出了一种在 ImageNet 上训练任意骨干网络的统一方案。该方案名为 USI（Unified Scheme for ImageNet），基于知识蒸馏和现代技巧。它无需在不同模型之间进行调整或超参数调优，并且在训练时间方面效率很高。我们在多种架构上测试了 USI，包括 CNN、Transformer、面向移动端的模型和纯 MLP 模型。在所有测试的模型上，USI 均优于先前的最先进结果。因此，我们能够将 ImageNet 上的训练从一项以专家为导向的任务转变为自动化的无缝流程。由于 USI 接受任意骨干网络并将其训练至顶尖结果，它还能进行系统性的比较，并在速度-精度帕累托曲线上识别出最高效的骨干网络。代码实现见：https://github.com/Alibaba-MIIL/Solving_ImageNet
引用
@article{arxiv.2204.03475,
title = {Solving ImageNet: a Unified Scheme for Training any Backbone to Top Results},
author = {Tal Ridnik and Hussam Lawen and Emanuel Ben-Baruch and Asaf Noy},
journal= {arXiv preprint arXiv:2204.03475},
year = {2022}
}