基于径向基函数核与超参数检测的训练-free 神经网络架构搜索：RBFleX-NAS
机器学习
2025-06-05 v3
摘要
神经网络架构搜索（NAS）是为特定工作负载设计最优网络架构的自动化技术。传统方法需对候选网络进行大量训练，耗时且计算资源丰富。为加速网络评估，训练-free NAS 被提出，以最小搜索时间完成网络评估。然而，现有训练-free NAS 方法难以精准区分高性能网络与低性能网络，导致性能预测不准，最终影响顶级网络的 top-1 准确率。此外，这类方法在激活函数探索方面效果有限。为解决上述问题，本文提出 RBFleX-NAS，一种新型训练-free NAS 框架，利用径向基函数（Radial Basis Function, RBF）核考虑最后一个层的激活输出与输入特征。我们还提出一种检测算法，通过所获取的激活输出与输入特征图识别最优超参数。我们在多种 NAS 基准数据集上验证了 RBFleX-NAS 的有效性。在 NAS-Bench-201 和 NAS-Bench-SSS 等基准上，RBFleX-NAS 在 top-1 准确率方面显著优于最先进的训练-free NAS 方法，且搜索时间更短。此外，RBFleX-NAS 相较于基于层的训练-free NAS 方法在 Kendall 相关性方面表现更佳。进一步，我们提出 NAFBee，一种新的激活函数设计空间，将激活类型扩展至多种常用函数。在该扩展设计空间中，RBFleX-NAS 能够准确识别激活函数搜索中表现最佳的网络，为其他 NAS 方法提供了显著优势。
引用
@article{arxiv.2503.22733,
title = {RBFleX-NAS: Training-Free Neural Architecture Search Using Radial Basis Function Kernel and Hyperparameter Detection},
author = {Tomomasa Yamasaki and Zhehui Wang and Tao Luo and Niangjun Chen and Bo Wang},
journal= {arXiv preprint arXiv:2503.22733},
year = {2025}
}
备注
15 pages, 17 figures, Published on IEEE Transactions on Neural Networks and Learning Systems (TNNLS)