基于集成 Gumbel-Softmax 的可微架构搜索
机器学习
2019-05-07 v1 计算机视觉与模式识别
机器学习
摘要
对于网络架构搜索 (NAS) 而言，同时保证有效性与效率至关重要却富有挑战。为实现这一目标，我们开发了一种可微 NAS 方案，其搜索空间包含由预定义连接数构成的任意前馈网络。得益于所提出的集成 Gumbel-Softmax 估计器，我们的方法在同一轮反向传播中同时优化深度网络的架构及其参数，从而产生一种搜索网络架构的端到端机制。在多种流行数据集上的大量实验有力证明，我们的方法能够发现高性能架构，同时在搜索过程中保证所需的效率。
引用
@article{arxiv.1905.01786,
title = {Differentiable Architecture Search with Ensemble Gumbel-Softmax},
author = {Jianlong Chang and Xinbang Zhang and Yiwen Guo and Gaofeng Meng and Shiming Xiang and Chunhong Pan},
journal= {arXiv preprint arXiv:1905.01786},
year = {2019}
}