PC-DARTS：用于内存高效架构搜索的部分通道连接
计算机视觉与模式识别
2020-04-08 v4 机器学习
摘要
可微架构搜索（DARTS）为寻找有效网络架构提供了快速方案，但在联合训练超网络与搜索最优架构时面临巨大的内存与计算开销。本文提出一种新方法，即部分连接 DARTS（Partially-Connected DARTS，PC-DARTS），通过采样超网络的一小部分来减少探索网络空间中的冗余，从而在不损害性能的前提下进行更高效的搜索。具体而言，我们在一部分通道中执行操作搜索，同时通过捷径绕过保留的部分。该策略可能因采样不同通道而导致超网络边选择上的不良不一致。我们使用边归一化来缓解此问题，其添加一组新的边级参数以降低搜索中的不确定性。得益于减少的内存开销，PC-DARTS 可用更大批量训练，并因此兼具更快速度与更高训练稳定性。实验结果证明了所提方法的有效性。具体地，我们在 CIFAR10 上以仅 0.1 GPU-天的架构搜索取得 2.57% 的错误率，并在 ImageNet（移动端设定下）以 3.8 GPU-天搜索取得 24.2% 的当前最优 top-1 错误率。我们的代码已公开于：https://github.com/yuhuixu1993/PC-DARTS。
引用
@article{arxiv.1907.05737,
title = {PC-DARTS: Partial Channel Connections for Memory-Efficient Architecture Search},
author = {Yuhui Xu and Lingxi Xie and Xiaopeng Zhang and Xin Chen and Guo-Jun Qi and Qi Tian and Hongkai Xiong},
journal= {arXiv preprint arXiv:1907.05737},
year = {2020}
}
备注
Accepted by ICLR2020