基于无训练且理论支撑指标的神经架构搜索理解与加速
机器学习
2023-01-02 v2
摘要
本工作旨在为神经架构搜索（NAS）设计一个原则性且统一的无训练框架，具备高性能、低成本和深入解释性。NAS 已被大量研究以自动发现性能优异的神经网络，但存在资源消耗巨大以及因截断训练或近似而常导致搜索偏置的问题。近期的 NAS 工作开始探索无需训练即可预测网络性能的指示器。然而，它们要么利用了深度网络有限的性质，要么其无训练指示器的优势未应用于更广泛的搜索方法。通过严格的相关性分析，我们提出了一个统一框架，通过解耦被搜索网络的“TEG”特征——可训练性（Trainability）、表达性（Expressivity）、泛化性（Generalization）——均以无训练方式评估，来理解和加速 NAS。TEG 指示器可扩展并集成到多种 NAS 搜索方法中，包括超网与单路径方法。大量研究验证了我们的 TEG-NAS 框架有效且高效的指导作用，带来了搜索准确率的提升以及超过 56% 的搜索时间成本降低。此外，我们在“TEG”特征的三个景观上可视化了搜索轨迹，观察到尽管在 NAS-Bench-201 上因其简单拓扑更易找到好的局部极小值，但在 DARTS 搜索空间上由于其复杂景观几何，平衡“TEG”特征要困难得多。我们的代码见 https://github.com/VITA-Group/TEGNAS。
引用
@article{arxiv.2108.11939,
title = {Understanding and Accelerating Neural Architecture Search with Training-Free and Theory-Grounded Metrics},
author = {Wuyang Chen and Xinyu Gong and Junru Wu and Yunchao Wei and Humphrey Shi and Zhicheng Yan and Yi Yang and Zhangyang Wang},
journal= {arXiv preprint arXiv:2108.11939},
year = {2023}
}
备注
submitted to TPAMI