利用强化学习提升神经架构搜索的样本效率

设计复杂架构已成为过去十年深度学习所带来变革中不可或缺的齿轮。在以数据驱动方式解决困难问题时，一种久经考验的方法是将知名深度学习科学家发现的架构（如 Inception）作为基础并尝试应用于特定问题。这可能已足够，但就目前而言，在复杂或尚未解决的任务上达到极高准确率需要高度训练的深度学习专家的知识。在本文中，我们希望为自动机器学习（AutoML）领域，特别是神经架构搜索（NAS）做出贡献，后者旨在通过自动设计神经拓扑使深度学习方法惠及更广泛的社会。尽管存在若干不同方法（如基于梯度或进化算法），我们的焦点是最有前景的研究方向之一：强化学习。在该场景中，循环神经网络（控制器）被训练以创建特定问题的神经网络架构（子网络）。子网络的验证准确率作为用强化学习训练控制器的奖励信号。我们工作的基础是高效神经架构搜索（ENAS），其中子网络间应用参数共享。ENAS 与许多其他基于 RL 的算法一样，强调子网络的学习，因为提高其收敛性可为控制器带来更密集的奖励信号，从而显著减少训练时间。控制器最初用 REINFORCE 训练。在我们的研究中，我们提议将其修改为更现代且更复杂的算法 PPO，后者已在其他环境中被证明更快且更稳定。随后，我们简要讨论并评估了我们的结果。