通过代理数据加速神经架构搜索
机器学习
2021-06-10 v1 计算机视觉与模式识别
摘要
尽管对神经架构搜索（NAS）的兴趣日益增长，NAS巨大的计算成本对研究者而言仍是一大障碍。因此，我们提出使用代理数据（即目标数据的一个代表性子集）来降低NAS的成本，且不牺牲搜索性能。尽管数据选择已应用于多个领域，但我们对NAS-Bench-1shot1所提供的NAS算法之现有选择方法的评估表明，它们并不总是适用于NAS，因而需要一种新的选择方法。通过分析利用多种选择方法构建的代理数据的数据熵，我们提出了一种专为NAS量身定制的新颖代理数据选择方法。为从经验上证明有效性，我们在不同数据集、搜索空间和NAS算法上进行了充分实验。结果表明，采用所提选择的NAS算法发现的架构与使用完整数据集获得的架构具有竞争力。它显著降低了搜索成本：采用所提选择执行DARTS在CIFAR-10上仅需40分钟，在ImageNet上单GPU仅需7.5小时。此外，当在ImageNet上使用所提选择搜索到的架构反向迁移到CIFAR-10时，取得了2.4%的state-of-the-art测试误差。我们的代码见https://github.com/nabk89/NAS-with-Proxy-data。
引用
@article{arxiv.2106.04784,
title = {Accelerating Neural Architecture Search via Proxy Data},
author = {Byunggook Na and Jisoo Mok and Hyeokjun Choe and Sungroh Yoon},
journal= {arXiv preprint arXiv:2106.04784},
year = {2021}
}
备注
Accepted to IJCAI 2021