通过计数非线性函数数量的高效少样本神经架构搜索
计算机视觉与模式识别
2024-12-20 v1
摘要
神经架构搜索(NAS)能够从搜索空间中自动找到性能最佳的架构。大多数NAS方法利用一个过参数化的网络（即超网络）包含搜索空间中所有可能的架构（即子网络）。然而，共享同一组参数的子网络可能具有不同的特征，在训练过程中相互干扰。为了解决这个问题，提出了少样本NAS方法，将空间划分为几个子空间，并为每个子空间使用独立的超网络以限制权重共享的程度。它们达到了最先进的性能，但计算成本也随之增加。本文提出了一种新颖的少样本NAS方法，利用非线性函数的数量来划分搜索空间。具体来说，我们的方法划分空间使得每个子空间由具有相同非线性函数数量的子网络组成。我们的划分标准是高效的，因为它不需要比较超网络的梯度来划分空间。此外，我们发现划分空间允许我们减少每个超网络所需的通道维度，从而能够以高效的方式训练多个超网络。我们还引入了一种超网络平衡采样(SBS)技术，在每个训练步骤中采样多个子网络，以在有限的训练步数内均匀训练不同的超网络。在标准NAS基准上的大量实验证明了我们方法的有效性。我们的代码可在https://cvlab.yonsei.ac.kr/projects/EFS-NAS获取。
引用
@article{arxiv.2412.14678,
title = {Efficient Few-Shot Neural Architecture Search by Counting the Number of Nonlinear Functions},
author = {Youngmin Oh and Hyunju Lee and Bumsub Ham},
journal= {arXiv preprint arXiv:2412.14678},
year = {2024}
}
备注
Accepted to AAAI 2025