操作级渐进可微架构搜索
计算机视觉与模式识别
2023-02-14 v1 人工智能
机器学习
摘要
可微神经架构搜索（DARTS）因其高搜索效率和低计算成本而在神经架构搜索（NAS）方法中愈发流行。然而，DARTS的稳定性很差，尤其是跳跃连接聚集导致性能崩溃。尽管现有方法利用Hessian特征值缓解跳跃连接聚集，却使DARTS无法探索性能更优的架构。本文中，我们提出操作级渐进可微神经架构搜索（OPP-DARTS），以同时避免跳跃连接聚集并探索更优架构。我们首先在搜索阶段将搜索过程划分为若干阶段，并在每阶段开始时逐步将候选操作加入搜索空间。这可通过抵消跳跃连接相对于其他操作的固有不公平优势，有效缓解DARTS搜索阶段中操作间的不公平竞争。此外，为保持操作间竞争相对公平并从候选操作集中选择使超网训练损失最大的操作。实验结果表明我们的方法有效且高效。我们的方法在CIFAR-10上的性能优于标准DARTS发现的架构，且我们方法的迁移性也超越标准DARTS。我们进一步在三个简单搜索空间（即S2、S3、S4）上证明了我们方法的鲁棒性，结果显示我们的方法比标准DARTS更鲁棒。我们的代码见 https://github.com/zxunyu/OPP-DARTS。
引用
@article{arxiv.2302.05632,
title = {Operation-level Progressive Differentiable Architecture Search},
author = {Xunyu Zhu and Jian Li and Yong Liu and Weiping Wang},
journal= {arXiv preprint arXiv:2302.05632},
year = {2023}
}
备注
To appear in ICDM 2021