循环可微架构搜索
计算机视觉与模式识别
2022-04-26 v4
摘要
可微架构搜索（DARTS）在神经架构搜索中备受关注。它试图在浅层搜索网络中找到最优架构，再在深层评估网络中衡量其性能。然而，搜索网络与评估网络的独立优化，通过允许两网络间的交互尚存改进空间。为解决这一有问题的优化问题，我们提出新的联合优化目标与一种新颖的循环可微架构搜索框架，称为 CDARTS。考虑到结构差异，CDARTS 通过自省蒸馏在搜索与评估网络间建立循环反馈机制。首先，搜索网络生成初始架构供评估，并优化评估网络的权重。其次，搜索网络中的架构权重通过分类中的标签监督以及来自评估网络经特征蒸馏的正则化进一步优化。重复上述循环可实现搜索与评估网络的联合优化，从而令架构演化以适配最终评估网络。在 CIFAR、ImageNet 和 NAS-Bench-201 上的实验与分析证明了所提方法优于现有最优方法。具体而言，在 DARTS 搜索空间中，我们在 CIFAR10 上取得 97.52% 的 top-1 准确率，在 ImageNet 上取得 76.3% 的 top-1 准确率。在链状结构搜索空间中，我们在 ImageNet 上取得 78.2% 的 top-1 准确率，比 EfficientNet-B0 高 1.1%。我们的代码与模型已公开于 https://github.com/microsoft/Cream。
引用
@article{arxiv.2006.10724,
title = {Cyclic Differentiable Architecture Search},
author = {Hongyuan Yu and Houwen Peng and Yan Huang and Jianlong Fu and Hao Du and Liang Wang and Haibin Ling},
journal= {arXiv preprint arXiv:2006.10724},
year = {2022}
}
备注
Accepted by IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)