通过基于增广的权重共享改进自动增广
机器学习
2020-10-23 v2 计算机视觉与模式识别
机器学习
摘要
近期在自动搜索增广策略方面的进展大幅提升了各类任务的性能。自动增广搜索的一个关键组成部分是针对特定增广策略的评估过程，该过程用于返回奖励且通常运行数千次。朴素的评估过程包含完整的模型训练与验证，会非常耗时。为追求效率，许多方法选择以评估可靠性换取速度。本文中，我们深入探究模型增广训练的动力学。这启发我们设计一种基于增广的权重共享（AWS）的强而高效的代理任务，以优雅的方式形成快速且准确的评估过程。综合分析验证了该方法在效果与效率上的优越性。我们的方法所发现的增广策略相较于现有自动增广搜索方法取得了更优的准确率。在 CIFAR-10 上，我们实现了 1.24% 的 top-1 错误率，这是目前在无额外训练数据情况下性能最佳的单模型。在 ImageNet 上，我们在 ResNet-50 上取得了 20.36% 的 top-1 错误率，相较基线增广绝对错误率降低了 3.34%。
引用
@article{arxiv.2009.14737,
title = {Improving Auto-Augment via Augmentation-Wise Weight Sharing},
author = {Keyu Tian and Chen Lin and Ming Sun and Luping Zhou and Junjie Yan and Wanli Ouyang},
journal= {arXiv preprint arXiv:2009.14737},
year = {2020}
}
备注
Accepted to NeurIPS 2020 (Poster)