DARTS-：无需指标地稳健走出性能崩溃
机器学习
2021-01-18 v2 人工智能
计算机视觉与模式识别
机器学习
摘要
尽管可微架构搜索（DARTS）发展迅速，但其长期存在性能不稳定问题，这极大限制了其应用。现有的鲁棒化方法从由此导致的退化行为中寻找线索，而非找出其成因。人们提出了诸如 Hessian 特征值等各种指标作为性能崩溃前停止搜索的信号。然而，这些基于指标的方法若阈值设置不当，往往容易拒绝优良架构，更不必说搜索本身具有内在噪声。本文中，我们采用一种更精细且直接的方法来解决崩溃问题。我们首先证明跳跃连接相较于其他候选操作具有明显优势，其能从不利状态中轻易恢复并占据主导。我们推测这一特权正导致性能退化。因此，我们提出通过一个辅助跳跃连接来消除该益处，从而确保所有操作的更公平竞争。我们将此方法称为 DARTS-。在各种数据集上的大量实验验证了其可大幅改善鲁棒性。我们的代码见 https://github.com/Meituan-AutoML/DARTS- 。
引用
@article{arxiv.2009.01027,
title = {DARTS-: Robustly Stepping out of Performance Collapse Without Indicators},
author = {Xiangxiang Chu and Xiaoxing Wang and Bo Zhang and Shun Lu and Xiaolin Wei and Junchi Yan},
journal= {arXiv preprint arXiv:2009.01027},
year = {2021}
}
备注
Accepted to ICLR2021