MixPath：一种用于一次性神经架构搜索的统一方法
机器学习
2023-07-20 v4 计算机视觉与模式识别
机器学习
摘要
混合多个卷积核在神经架构设计中已被证明是有利的。然而，当前的两阶段神经架构搜索方法主要局限于单路径搜索空间。如何高效搜索多路径结构的模型仍是一个难题。本文中，我们的动机是训练一个一次性多路径超网以准确评估候选架构。具体而言，我们发现所研究的搜索空间中，从多条路径求和得到的特征向量几乎是单条路径特征向量的倍数。这种差异扰乱了超网训练及其排序能力。因此，我们提出一种称为阴影批归一化 (Shadow Batch Normalization, SBN) 的新机制来正则化这种差异化的特征统计。大量实验证明 SBN 能够稳定优化并提升排序性能。我们将这一统一的多路径一次性方法称为 MixPath，其生成的一系列模型在 ImageNet 上取得了最先进的成果。
引用
@article{arxiv.2001.05887,
title = {MixPath: A Unified Approach for One-shot Neural Architecture Search},
author = {Xiangxiang Chu and Shun Lu and Xudong Li and Bo Zhang},
journal= {arXiv preprint arXiv:2001.05887},
year = {2023}
}
备注
ICCV2023