基于彩票假设的多试验神经架构搜索
机器学习
2022-12-06 v3 计算机视觉与模式识别
神经与进化计算
摘要
神经架构搜索（NAS）在近期图像识别任务中带来了显著进展。多数现有NAS方法采用受限搜索空间，限制了搜索模型的上界性能。为解决该问题，我们提出一种名为MobileNet3-MT的新搜索空间。通过在网络全维度上减少人工先验知识，MobileNet3-MT容纳了更多潜在候选。为在这一具挑战性的搜索空间中搜索，我们提出一种高效的基于多试验进化的NAS方法，称为MENAS。具体而言，我们通过逐步剪枝种群中的模型来加速进化搜索过程。每个模型以早停方式训练，并由其彩票假设票（Lottery Tickets，即探索到的最优剪枝网络）替代。如此一来，避免了繁琐网络的完整训练流程，并自动生成更高效的网络。在ImageNet-1K、CIFAR-10和CIFAR-100上的大量实验结果表明，MENAS取得了最先进的性能。
引用
@article{arxiv.2203.04300,
title = {Multi-trial Neural Architecture Search with Lottery Tickets},
author = {Zimian Wei and Hengyue Pan and Lujun Li and Menglong Lu and Xin Niu and Peijie Dong and Dongsheng Li},
journal= {arXiv preprint arXiv:2203.04300},
year = {2022}
}