NASTransfer：大规模神经架构搜索中的架构可迁移性分析
计算机视觉与模式识别
2021-02-15 v2 机器学习
神经与进化计算
摘要
神经架构搜索（NAS）是机器学习中一个开放且具有挑战性的问题。尽管 NAS 前景广阔，但大多数现有 NAS 方法令人望而却步的计算需求使得直接在大规模任务上搜索架构变得困难。进行大规模 NAS 的典型方法是在小数据集（使用来自大数据集的代理集或完全不同的小规模数据集）上搜索架构构建块，然后将该块迁移到更大的数据集。尽管近期一些结果表明从代理数据集迁移大有希望，但研究不同源数据集影响的各类 NAS 方法的综合评估尚未开展。在这项工作中，我们提出通过在 ImageNet1K 和 ImageNet22K 等大规模基准上执行一系列实验来分析不同 NAS 方法的架构可迁移性。我们发现：(i) 代理集的规模和领域似乎并不影响架构在目标数据集上的性能。平均而言，使用完全不同的小数据集（例如 CIFAR10）搜索的架构的迁移性能与直接在代理目标数据集上搜索的架构相似。然而，代理集的设计对不同 NAS 方法的排名有相当大影响。(ii) 尽管不同 NAS 方法在源数据集（例如 CIFAR10）上表现相似，但它们在迁移到大数据集（例如 ImageNet1K）时差异显著。(iii) 即使在大数据集上，随机采样基线也极具竞争力，但选择合适的代理集与搜索策略组合可为其带来显著改进。我们相信，我们广泛的实证分析将对未来 NAS 算法的设计有所裨益。
引用
@article{arxiv.2006.13314,
title = {NASTransfer: Analyzing Architecture Transferability in Large Scale Neural Architecture Search},
author = {Rameswar Panda and Michele Merler and Mayoore Jaiswal and Hui Wu and Kandan Ramakrishnan and Ulrich Finkler and Chun-Fu Chen and Minsik Cho and David Kung and Rogerio Feris and Bishwaranjan Bhattacharjee},
journal= {arXiv preprint arXiv:2006.13314},
year = {2021}
}
备注
19 pages, 19 Figures, 6 Tables