SNAS：随机神经架构搜索
机器学习
2020-04-02 v3 人工智能
机器学习
摘要
我们提出随机神经架构搜索（SNAS），一种经济的端到端神经架构搜索（NAS）方案，其在同一轮反向传播中训练神经操作参数与架构分布参数，同时保持 NAS 流程的完备性与可微性。本工作中，NAS 被重新表述为单元内搜索空间联合分布参数的优化问题。为利用通用可微损失中针对架构搜索的梯度信息，提出了一种新颖的搜索梯度。我们证明该搜索梯度优化与基于强化学习的 NAS 相同的目标，但更高效地向结构决策分配信用。这一信用分配进一步由局部可分解奖励增强，以施加资源高效约束。在 CIFAR-10 上的实验中，SNAS 比不可微的基于进化与基于强化学习的 NAS 用更少轮数找到具有最优精度的单元架构，且该架构可迁移至 ImageNet。还表明 SNAS 的子网络能在搜索中保持验证精度，而基于注意力的 NAS 需参数重训练才能与之竞争，展现出在大数据集上迈向高效 NAS 的潜力。我们已于 https://github.com/SNAS-Series/SNAS-Series 发布实现。
引用
@article{arxiv.1812.09926,
title = {SNAS: Stochastic Neural Architecture Search},
author = {Sirui Xie and Hehui Zheng and Chunxiao Liu and Liang Lin},
journal= {arXiv preprint arXiv:1812.09926},
year = {2020}
}
备注
ICLR 2019