如何训练你的超网：权重共享 NAS 中训练启发式的分析

权重共享有望使神经架构搜索（neural architecture search, NAS）即使在商用硬件上也变得可行。该领域现有方法依赖一组多样的启发式方法来设计和训练共享权重的骨干网络，即超网（super-net）。由于启发式方法和超参数在不同方法间差异很大，只有通过系统分析这些因素的影响才能实现它们之间的公平比较。因此，在本文中我们对权重共享 NAS 算法频繁采用的启发式方法和超参数进行了系统评估。我们的分析揭示，一些常用的超网训练启发式会对超网与独立模型性能之间的相关性产生负面影响，并证明了某些超参数和架构选择的强烈影响。我们的代码和实验建立了一个强大且可复现的基线，未来的工作可在此基础上展开。