面向神经网络架构搜索的体系结构感知最小化（A$^2$M）：如何寻找平坦极小值
机器学习
2026-03-25 v3 无序系统与神经网络
计算机视觉与模式识别
摘要
神经网络架构搜索（NAS）已成为设计有效且高效神经网络的 essential 工具。本文调查了神经网络空间中常用于可微分NAS方法的几何属性，具体包括NAS-Bench-201和DARTS。通过定义沿架构空间路径上的邻域和损失壁垒等平坦度指标，我们揭示了类似于权重空间中神经网络损失景观众所熟知属性的局部性和平坦性特征。特别地，我们发现高度准确的架构在平坦区域中聚集，而次优架构则孤立地分布，揭示了架构搜索景观的详细几何结构。基于这些洞见，我们提出一种体系结构感知最小化（AM），这是一种新近提出的解析算法框架，显式地将可微分NAS方法的梯度偏向于架构空间中的平坦极小值。AM在包含CIFAR-10、CIFAR-100和ImageNet16-120等基准数据集上的实验中， consistently 优于基于DARTS的前沿方法，无论是NAS-Bench-201还是DARTS搜索空间。值得注意的是，AM在不同可微分NAS方法的平均测试准确率上，CIFAR-10提升+3.60%，CIFAR-100提升+4.60%，ImageNet16-120提升+3.64%，显现其在实际中的卓越效果。AM可以轻松集成到现有的可微分NAS框架中，为自动机器学习的未来研究和应用提供了一个灵活的工具。我们在https://github.com/AI-Tech-Research-Lab/AsquaredM 上开源代码。
引用
@article{arxiv.2503.10404,
title = {Architecture-Aware Minimization (A$^2$M): How to Find Flat Minima in Neural Architecture Search},
author = {Matteo Gambella and Fabrizio Pittorino and Manuel Roveri},
journal= {arXiv preprint arXiv:2503.10404},
year = {2026}
}
备注
Published in the journal Machine Learning: Science and Technology - IOPscience