用于高效神经架构搜索的核心集采样
机器学习
2021-07-15 v1 神经与进化计算
摘要
神经架构搜索（NAS）作为自动机器学习的重要分支，已成为自动化设计深度学习模型的有效方法。然而，NAS中的主要问题是如何减轻由沉重计算负担带来的巨大搜索时间。尽管近期多数方法聚焦于剪枝冗余集合或开发新搜索方法，本文尝试基于数据整理方式对该问题建模。我们的关键策略是利用汇总的数据分布即核心集（core-set）来搜索架构。通常，许多NAS算法将搜索与训练阶段分离，所提出的核心集方法仅用于搜索阶段，因此其性能退化可被最小化。在我们的实验中，在单块RTX 3090 GPU上，整体计算时间从30.8小时降至3.5小时，减少8.8倍，且不损失精度。
引用
@article{arxiv.2107.06869,
title = {Core-set Sampling for Efficient Neural Architecture Search},
author = {Jae-hun Shim and Kyeongbo Kong and Suk-Ju Kang},
journal= {arXiv preprint arXiv:2107.06869},
year = {2021}
}
备注
8 pages, 2 figures, spotlight presented at the ICML 2021 Workshop on Subset Selection in ML