TG-NAS：基于算子描述嵌入和图学习的可泛化零成本代理实现高效神经架构搜索
机器学习
2025-05-27 v2 人工智能
摘要
神经架构搜索（NAS）是一种发现高性能CNN架构的强大技术，但大多数现有方法依赖于昂贵的训练或大量采样。零样本NAS通过使用代理预测架构性能，提供了一种无需训练的替代方案。然而，现有代理通常次优——常常被参数数量或FLOPs等简单指标超越——并且在不同搜索空间上泛化能力差。此外，当前基于模型的代理在无法获取真实准确率的情况下难以适应新算子，限制了其可迁移性。我们提出TG-NAS，一种通用的、基于模型的零成本（ZC）代理，它结合了基于Transformer的算子嵌入生成器和图卷积网络（GCN）来预测架构性能。与以往基于模型的预测器不同，TG-NAS无需重新训练，并能泛化到任意搜索空间。它作为一个独立的ZC代理，具有强大的数据效率、鲁棒性和跨空间一致性。在多种NAS基准上的广泛评估表明，与现有代理相比，TG-NAS具有优越的秩相关性和泛化能力。此外，它将搜索效率提升高达300倍，并在NAS-Bench-201上发现达到93.75% CIFAR-10准确率的架构，在DARTS空间上达到74.9% ImageNet top-1准确率，使TG-NAS成为高效、可泛化NAS的有前景的基础。
引用
@article{arxiv.2404.00271,
title = {TG-NAS: Generalizable Zero-Cost Proxies with Operator Description Embedding and Graph Learning for Efficient Neural Architecture Search},
author = {Ye Qiao and Jingcheng Li and Haocheng Xu and Sitao Huang},
journal= {arXiv preprint arXiv:2404.00271},
year = {2025}
}