SCARLET-NAS：在权重共享神经架构搜索的稳定性与可扩展性之间架起桥梁
机器学习
2021-08-17 v6 计算机视觉与模式识别
机器学习
摘要
发现强大而紧凑的模型是神经架构搜索的一个重要目标。先前的两阶段一次性方法受限于具有固定深度的搜索空间。在搜索空间中加入额外的跳跃连接以使深度可变似乎很方便。然而，它在超网训练期间造成了大范围的扰动，并且难以对子网络给出可信的排序。在本文中，我们发现与其他操作相比，跳跃连接带来了显著的特征不一致，这可能降低超网性能。基于该观察，我们通过施加一个等变可学习稳定器来均质化此类差异，从而解决问题。实验表明，我们提出的稳定器有助于改善超网的收敛性以及排序性能。借助将稳定化超网作为评估器的进化搜索后端，我们导出了一系列最先进的架构，即不同深度的 SCARLET 系列，其中 SCARLET-A 在 ImageNet 上取得了 76.9% 的 top-1 准确率。代码见 https://github.com/xiaomi-automl/ScarletNAS。
引用
@article{arxiv.1908.06022,
title = {SCARLET-NAS: Bridging the Gap between Stability and Scalability in Weight-sharing Neural Architecture Search},
author = {Xiangxiang Chu and Bo Zhang and Qingyuan Li and Ruijun Xu and Xudong Li},
journal= {arXiv preprint arXiv:1908.06022},
year = {2021}
}
备注
ICCV Workshop 2021