Bonsai-Net：通过可微剪枝器进行一次性神经架构搜索
机器学习
2021-06-07 v3 机器学习
摘要
一次性神经架构搜索（NAS）旨在最小化发现最先进模型的计算开销。然而，在过去一年中，人们注意到在领先 NAS 算法所用的相同搜索空间上，朴素随机搜索具有可比的性能。为此，我们探究了大幅放宽 NAS 搜索空间的效果，并提出了 Bonsai-Net，一种高效的一次性 NAS 方法来探索我们所放宽的搜索空间。Bonsai-Net 围绕一个改进的可微剪枝器构建，能够稳定地发现显著优于随机搜索、且参数量少于其他最先进方法的最先进架构。此外，Bonsai-Net 执行同步的模型搜索与训练，大幅减少了从零开始生成完全训练模型所需的总时间。
引用
@article{arxiv.2006.09264,
title = {Bonsai-Net: One-Shot Neural Architecture Search via Differentiable Pruners},
author = {Rob Geada and Dennis Prangle and Andrew Stephen McGough},
journal= {arXiv preprint arXiv:2006.09264},
year = {2021}
}
备注
Accepted to CVPR-NAS 2020. https://github.com/RobGeada/bonsai-net-lite