连接敏感性对免训练 DARTS 至关重要：从架构级评分到操作级敏感性分析
机器学习
2023-05-15 v4 计算机视觉与模式识别
摘要
近期提出的免训练 NAS 方法摒弃了训练阶段，并设计各种零成本代理（zero-cost proxies）作为分数来识别优异架构，从而引发了神经架构搜索的极高计算效率。本文中，我们提出一个有趣的问题：能否通过免训练方式恰当地度量 DARTS 中操作的重要性，同时避免参数密集偏差？我们通过边连接性的视角研究该问题，并通过定义一种连接性概念——零成本操作敏感性（ZEROS）——在初始化时对 DARTS 中候选操作的重要性进行评分，给出了肯定回答。通过设计一种迭代且数据无关的方式来利用 ZEROS 进行 NAS，我们的新尝试产生了一个称为免训练可微分架构搜索（FreeDARTS）的框架。基于神经切线核（NTK）理论，我们证明所提连接性分数在梯度下降训练后与 DARTS 超网收敛后的泛化界呈负相关的可证明关系。此外，我们从理论上解释了 ZEROS 如何隐式避免选择架构时的参数密集偏差，并经验表明 FreeDARTS 搜索出的架构规模相当。我们在一系列搜索空间上进行了大量实验，结果表明 FreeDARTS 是神经架构搜索中可靠且高效的基线。
引用
@article{arxiv.2106.11542,
title = {Connection Sensitivity Matters for Training-free DARTS: From Architecture-Level Scoring to Operation-Level Sensitivity Analysis},
author = {Miao Zhang and Wei Huang and Li Wang},
journal= {arXiv preprint arXiv:2106.11542},
year = {2023}
}
备注
A revised version with more theoretical analysis