Fair DARTS：消除可微架构搜索中的不公平优势
机器学习
2020-07-17 v4 人工智能
计算机视觉与模式识别
机器学习
摘要
可微架构搜索（DARTS）现已成为广泛传播的重量共享神经架构搜索方法。然而，它因不可避免的跳跃连接聚集而遭受众所周知的性能崩溃。在本文中，我们首先揭示其根本原因源于排他性竞争中的不公平优势。通过实验，我们表明若打破两个条件中的任意一个，崩溃即消失。据此，我们提出一种称为 Fair DARTS 的新方法，将排他性竞争放宽为协作性竞争。具体而言，我们让每个操作的架构权重独立于其他操作。然而仍存在一个重要的离散化差异问题。我们随后提出一种零一损失，将架构权重推向零或一，从而逼近期望的多热解。我们的实验在两个主流搜索空间上进行，并在 CIFAR-10 与 ImageNet 上取得了新的最先进（SOTA）结果。我们的代码可在 https://github.com/xiaomi-automl/fairdarts 获取。
引用
@article{arxiv.1911.12126,
title = {Fair DARTS: Eliminating Unfair Advantages in Differentiable Architecture Search},
author = {Xiangxiang Chu and Tianbao Zhou and Bo Zhang and Jixiang Li},
journal= {arXiv preprint arXiv:1911.12126},
year = {2020}
}
备注
Accepted to ECCV 2020, camera ready version