表达神经网络构架搜索空间中的可迁移代理模型
机器学习
2025-07-04 v3 人工智能
摘要
神经网络构架搜索（NAS）面临在能够实现构架创新的广泛、富有表现力的搜索空间与高效评估构架以有效搜索此类搜索空间之间取得平衡的挑战。我们研究基于上下文无关语法的高度富有表现力NAS搜索空间中的代理模型训练，以提高搜索效率。我们表明：（i）使用零成本代理指标和神经图特征（GRAF）训练的代理模型，或通过微调现成语言模型训练的代理模型，均对构架在同一数据集及跨数据集的性能具有高度预测能力；（ii）这些代理模型可用于筛选在新数据集上搜索时的差异构架，从而显著加速搜索并实现更佳的最终性能；（iii）这些代理模型还可直接用作巨大的速度提升的搜索目标。
引用
@article{arxiv.2504.12971,
title = {Transferrable Surrogates in Expressive Neural Architecture Search Spaces},
author = {Shiwen Qin and Gabriela Kadlecová and Martin Pilát and Shay B. Cohen and Roman Neruda and Elliot J. Crowley and Jovita Lukasik and Linus Ericsson},
journal= {arXiv preprint arXiv:2504.12971},
year = {2025}
}
备注
Accepted at AutoML 25, Project page at: https://shiwenqin.github.io/TransferrableSurrogate/