从回归到推断：基于元学习的神经网络架构搜索预测器
机器学习
2026-05-12 v1
摘要
基于预测的方法在神经网络架构搜索（NAS）中被广泛应用，其中预测器用于估计候选架构的性能，以指导选择。然而，现有的预测器通常仅基于有限样本通过监督回归训练，导致过拟合且对未见架构的泛化能力差。本文提出了一种根本不同的建模方法，将性能预测建模为条件函数推断问题，采用具备元学习能力的卷积神经过程（ConvNP）。与拟合固定映射到有限样本不同，我们的方法通过在合成任务组中进行上下文-目标分割训练，元学习从部分观察中推断性能，显式优化数据稀缺情况下的泛化，并将训练程序与NAS的部署设置一致。我们进一步设计了用于基于单元架构的简单且有效的元特征，并在NAS-Bench-101和NAS-Bench-201上进行评估。大量实验表明，我们的方法在有限样本下显著提高了Top-K排序质量，并实现了最新的架构选择。
引用
@article{arxiv.2605.09290,
title = {From Regression to Inference: Meta-Learning Predictors for Neural Architecture Search},
author = {Liping Deng and MingQing Xiao},
journal= {arXiv preprint arXiv:2605.09290},
year = {2026}
}