Learn to Explore：基于贝叶斯优化引导的图生成元NAS
机器学习
2025-08-14 v1
摘要
神经网络结构搜索（NAS）自动化设计高性能神经网络，但通常针对单个预定义任务，限制了其实际应用。为此，元神经网络搜索（Meta-NAS）作为一种利用跨任务先验知识以快速适应新任务的 promising 范式而涌现。然而，现有Meta-NAS方法常面临泛化性差、搜索空间受限或计算成本高的挑战。本文提出一种新型Meta-NAS框架GraB-NAS。具体而言，GraB-NAS首先将神经网络结构建模为图，然后开发混合搜索策略以发现和生成新的图，从而 lead to 有前景的神经网络结构。该混合搜索策略将基于贝叶斯优化的全局架构搜索与基于梯度上升在潜在空间中进行局部探索的 novel 神经网络搜索相结合。这种混合搜索策略使GraB-NAS能够发现具有强大性能的 task-aware 架构，甚至超出预定义搜索空间。广泛实验表明，GraB-NAS优于最先进的Meta-NAS基线，实现更好的泛化和搜索有效性。
引用
@article{arxiv.2508.09467,
title = {Learn to Explore: Meta NAS via Bayesian Optimization Guided Graph Generation},
author = {Zijun Sun and Yanning Shen},
journal= {arXiv preprint arXiv:2508.09467},
year = {2025}
}