HyperNAS：通过超网络增强 NAS 预测器的架构表示
机器学习
2025-09-24 v1 人工智能
摘要
耗时的性能评估显著阻碍了神经网络架构搜索（NAS）的进展。为此，神经预测器利用代理数据集上的代理模型，允许对新架构进行直接性能预测。然而，这些预测器常因捕捉各种架构之间复杂关系的能力有限而表现出较差的泛化性。本文提出了 HyperNAS，这是一种用于增强架构表示学习的新型神经预测器范式。HyperNAS 由两个主要组件构成：全局编码方案和共享超网络。全局编码方案设计用于捕捉综合的宏观结构信息，而共享超网络作为辅助任务，以增强对架构间模式的探索。为确保训练稳定性，我们进一步开发了动态自适应多任务损失，以促进在帕累托前沿上的个性化探索。跨五个代表性搜索空间（包括 ViT）的广泛实验表明，HyperNAS 的优势尤其在少样本场景中显而易见。例如，HyperNAS 在 CIFAR-10 上以 97.60% 的 top-1 准确率，在 ImageNet 上以 82.4% 的 top-1 准确率取得新纪录，所需样本数至少少 5.0 倍。
引用
@article{arxiv.2509.18151,
title = {HyperNAS: Enhancing Architecture Representation for NAS Predictor via Hypernetwork},
author = {Jindi Lv and Yuhao Zhou and Yuxin Tian and Qing Ye and Wentao Feng and Jiancheng Lv},
journal= {arXiv preprint arXiv:2509.18151},
year = {2025}
}