少即是多：神经架构搜索方法中的代理数据集
机器学习
2023-11-20 v1 人工智能
计算机视觉与模式识别
摘要
神经架构搜索（NAS）将神经网络的设计定义为一个搜索问题。遗憾的是，由于设计方案中元素数量及其间可能连接的组合多样，NAS 计算开销巨大。在本工作中，我们基于多种采样方法（无监督与有监督情形）对数据集规模进行缩减，作为一种与具体方法无关的降低搜索时间的策略，并深入分析了数据集规模的作用。我们在 NAS-Bench-201 上、以 CIFAR-100 为基准进行了约 1,400 次实验，将这些技术与四种常见 NAS 方法进行比较。一个令人惊讶的发现是：在大多数情况下，我们可以将训练数据量缩减至 25%，从而将搜索时间也缩减至 25%，同时维持与全量数据集训练相同的准确率。此外，某些由数据子集得到的设计在准确率上比由全量数据集得到的设计高出最多 22 个百分点。
引用
@article{arxiv.2203.06905,
title = {Less is More: Proxy Datasets in NAS approaches},
author = {Brian Moser and Federico Raue and Jörn Hees and Andreas Dengel},
journal= {arXiv preprint arXiv:2203.06905},
year = {2023}
}