Graph is all you need? 无需训练的轻量级数据无关神经架构搜索
机器学习
2025-06-23 v2
摘要
神经架构搜索（NAS）实现了神经网络模型的自动设计。然而，训练搜索算法生成的候选模型以进行性能评估会产生大量的计算开销。我们的方法被称为 nasgraph，通过将神经架构转换为图，并使用平均度数（一种图度量）作为评估指标的替代代理，显著降低了计算成本。我们的免训练 NAS 方法是数据无关且轻量级的。它能在 217 个 CPU 秒内，从 NAS-Bench-201 随机采样的 200 个架构中找到最佳架构。此外，我们的方法能够在包括 NASBench-101、NASBench-201 和 NDS 搜索空间在内的各种数据集上实现具有竞争力的性能。我们还证明了 nasgraph 可泛化至 Micro TransNAS-Bench-101 上更具挑战性的任务。
引用
@article{arxiv.2405.01306,
title = {Graph is all you need? Lightweight data-agnostic neural architecture search without training},
author = {Zhenhan Huang and Tejaswini Pedapati and Pin-Yu Chen and Chunheng Jiang and Jianxi Gao},
journal= {arXiv preprint arXiv:2405.01306},
year = {2025}
}