利用无交错采样探索复杂搜索空间

现有神经架构搜索算法大多在具有短距离连接的搜索空间上工作。我们认为此类设计虽安全稳定，却阻碍搜索算法探索更复杂的场景。本文中，我们在一具有长距离连接的复杂搜索空间上构建搜索算法，并表明现有权重共享搜索算法主要因 \textbf{交错连接} 的存在而大多失败。基于该观察，我们提出一种简单而有效的算法 \textbf{IF-NAS}，通过周期性采样策略在搜索过程中构造不同子网络，避免交错连接在其中任一出现。在所提搜索空间中，IF-NAS 以显著优势超越随机采样与先前权重共享搜索算法。IF-NAS 也泛化至更简单的微单元空间。我们的研究强调了宏结构的重要性，并期待沿此方向的进一步努力。