基于多调和样条的大规模神经架构搜索
计算机视觉与模式识别
2020-11-24 v1
摘要
神经架构搜索（NAS）是一种强大的工具，可自动设计用于包括图像分类在内的许多任务的深度神经网络。由于搜索阶段的计算负担显著，大多数 NAS 方法迄今集中于小型、均衡的数据集。所有在大规模上进行 NAS 的尝试都采用了小型代理集，然后通过复制或堆叠所搜索的单元将学到的架构迁移到更大的数据集。我们提出了一种基于多调和样条的 NAS 方法，可直接在大规模、不平衡的目标数据集上执行搜索。我们在 ImageNet22K 基准[16]上证明了我们方法的有效性，该基准包含以高度不平衡方式分布在 21,841 个类别中的 1400 万张图像。通过在 ImageNet22K 上直接探索 ResNet [23] 和 Big-Little Net ResNext [11] 架构的搜索空间，我们的多调和样条 NAS 方法设计了一个模型，在 ImageNet22K 上取得了 40.03% 的 top-1 准确率，相对于具有相似全局批大小的最先进技术[15]取得了 3.13% 的绝对提升。
引用
@article{arxiv.2011.10608,
title = {Large Scale Neural Architecture Search with Polyharmonic Splines},
author = {Ulrich Finkler and Michele Merler and Rameswar Panda and Mayoore S. Jaiswal and Hui Wu and Kandan Ramakrishnan and Chun-Fu Chen and Minsik Cho and David Kung and Rogerio Feris and Bishwaranjan Bhattacharjee},
journal= {arXiv preprint arXiv:2011.10608},
year = {2020}
}