ResNet 反击：timm 中一种改进的训练流程
计算机视觉与模式识别
2021-10-04 v1 机器学习
摘要
He 等人设计的极具影响力的残差网络仍是众多科学出版物中的黄金标准架构。它们通常作为研究中的默认架构，或作为提出新架构时的基线。然而，自 2015 年 ResNet 架构问世以来，神经网络训练的最佳实践已取得显著进展。新颖的优化与数据增强提升了训练方案的有效性。在本文中，我们重新评估了用整合了这些进展的流程训练时的原始 ResNet-50 的性能。我们在 timm 开源库中分享了具有竞争力的训练设置和预训练模型，希望它们能作为未来工作的更好基线。例如，采用我们更具挑战性的训练设置，原始 ResNet-50 在 ImageNet-val 上于 224x224 分辨率下无需额外数据或蒸馏即达到 80.4% 的 top-1 准确率。我们还报告了使用我们训练流程的流行模型的性能。
引用
@article{arxiv.2110.00476,
title = {ResNet strikes back: An improved training procedure in timm},
author = {Ross Wightman and Hugo Touvron and Hervé Jégou},
journal= {arXiv preprint arXiv:2110.00476},
year = {2021}
}