你只需搜索一次：通过直接稀疏优化的单发神经架构搜索
计算机视觉与模式识别
2018-11-06 v1 机器学习
神经与进化计算
摘要
近来神经架构搜索（NAS）在学术界与工业界均引起极大兴趣，然而由于其庞大且非连续的搜索空间，它仍具挑战性。与以往工作采用进化算法或强化学习不同，本文提出一种直接稀疏优化 NAS（DSO-NAS）方法。在 DSO-NAS 中，我们为 NAS 问题提供了一种新颖的模型剪枝视角。具体而言，我们从一个完全连接的块出发，随后引入缩放因子以缩放操作间的信息流。接着，我们施加稀疏正则化以剪除架构中无用的连接。最后，我们导出一种高效且有理论依据的优化方法予以求解。我们的方法兼具可微分性与高效性的优势，因此可直接应用于 ImageNet 等大型数据集。特别地，在 CIFAR-10 数据集上，DSO-NAS 取得 2.84% 的平均测试误差；而在 ImageNet 数据集上，DSO-NAS 在 8 块 GPU、18 小时内以 600M FLOPs 取得 25.4% 的测试误差。
引用
@article{arxiv.1811.01567,
title = {You Only Search Once: Single Shot Neural Architecture Search via Direct Sparse Optimization},
author = {Xinbang Zhang and Zehao Huang and Naiyan Wang},
journal= {arXiv preprint arXiv:1811.01567},
year = {2018}
}
备注
ICLR2019 Submission