理解神经架构搜索技术

近年来，无需人类专家即可自动生成最先进神经网络架构的方法引起了广泛关注。这是因为其有可能将人类专家移出设计循环，从而降低成本并缩短模型部署时间。自最初的 NAS 提出以来，神经架构搜索（NAS）技术在计算效率上有了显著提升。这种计算量的降低通过权重共享实现，例如高效神经架构搜索（ENAS）。然而，近期一系列工作证实了我们的发现：ENAS 并不比带权重共享的随机搜索表现更好，这与作者最初的声称相矛盾。我们通过考察 ENAS 控制器隐藏状态的可解释性为这一现象提供了解释。我们发现，从相同控制器隐藏状态采样的模型与各种图相似性度量之间无相关性，因此未学到任何结构相似性的概念。这一失败模式意味着 RNN 控制器并不以过去的架构选择为条件。最后，我们提出一种解决该失败模式的方法：通过用先前采样架构的记忆缓冲训练控制器，强制其隐藏状态编码过去的决策。这样做通过提高控制器隐藏状态与图相似性度量之间的相关性，改善了隐藏状态的可解释性。