嵌入空间中的神经架构搜索

基于强化学习的神经架构搜索（NAS）算法可成为一种强大而新颖的自动发现神经架构的框架。然而，其应用受限于非连续且高维的搜索空间，导致优化困难。为解决这些问题，我们提出了嵌入空间中的神经架构搜索（NASES），这是一种新颖的框架。与其他在离散高维架构空间上搜索的基于强化学习的 NAS 方法不同，该方法利用架构编码器与解码器使强化学习能在嵌入空间中搜索。当前实验表明，采用 NASES 流程得到的最终架构网络性能在 CIFAR-10 图像分类任务上与其他流行的 NAS 方法相当。实验结果高效，表明 NASES 仅需 $<$3.5 GPU 小时即可高效发现最终架构。当应用架构-嵌入搜索与权重初始化时，NASES 的优异性能与有效性令人印象深刻。