ISTA-NAS：基于稀疏编码的高效一致神经架构搜索
计算机视觉与模式识别
2020-10-14 v1
摘要
神经架构搜索（NAS）旨在从由所有候选连接构成的高维空间中产生最优稀疏解。当前基于梯度的 NAS 方法通常在搜索阶段忽略稀疏性约束，而是通过后处理将优化解投影到稀疏解上。结果，用于搜索的稠密超网训练效率低下，且与用于评估的投影架构之间存在差距。在本文中，我们将神经架构搜索表述为稀疏编码问题。我们在压缩的低维空间上执行可微搜索，该空间与原始稀疏解空间具有相同的验证损失，并通过求解稀疏编码问题恢复架构。可微搜索与架构恢复以交替方式优化。这样做，我们每次更新时用于搜索的网络都满足稀疏性约束且训练高效。为了进一步消除搜索中网络与评估中目标网络之间的深度和宽度差距，我们提出了一种在目标网络设置下于单阶段进行搜索与评估的方法。训练完成时，架构变量被吸收进网络权重中。因此我们在单次运行中即得到搜索出的架构和优化后的参数。实验中，我们在 CIFAR-10 上的两阶段方法仅需 0.05 GPU-day 进行搜索。我们的一阶段方法在 CIFAR-10 和 ImageNet 上均以仅评估时间的代价取得了最先进的性能。
引用
@article{arxiv.2010.06176,
title = {ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding},
author = {Yibo Yang and Hongyang Li and Shan You and Fei Wang and Chen Qian and Zhouchen Lin},
journal= {arXiv preprint arXiv:2010.06176},
year = {2020}
}
备注
NeurIPS 2020