Dextr：基于奇异值分解和外曲率的零样本神经网络架构搜索
计算机视觉与模式识别
2025-08-19 v1
摘要
零样本神经网络架构搜索（NAS）通常通过利用网络或初始化时的梯度属性来优化架构搜索过程，采用零成本代理方法。现有方法常依赖标注数据，而在实际场景中往往不可得。此外，目前多数方法要么关注收敛性和泛化性，要么仅关注网络架构的表达能力。为解决上述问题，本文首先阐明通道共线性如何影响神经网络的收敛性和泛化性能。随后，我们将收敛性、泛化性和表达能力统一融入单一方法中，提出一种无需标注数据即可计算的零成本代理。具体而言，我们利用神经网络层特征的奇异值分解（SVD）和网络输出的外曲率来设计该代理。因此，本文提出的代理可简化为对两个关键分量的对数倒数之和与网络输出外曲率的调和平均值的形式：即特征条件数之逆的求和与网络输出外曲率的调和平均。我们的方法能够仅通过单个无标签数据样本即可准确预测网络在测试数据上的性能。我们的大量评估包括六项实验：卷积神经网络（CNN）搜索空间（即DARTS）和Transformer搜索空间（即AutoFormer）。在多个相关基准测试中，包括NAS-Bench-101、NAS-Bench-201和TransNAS-Bench-101-micro，本文提出的代理表现优异；同时在DARTS和AutoFormer搜索空间中的NAS任务中也取得优异成绩，而且计算效率显著。代码已公开于 https://github.com/rohanasthana/Dextr。
引用
@article{arxiv.2508.12977,
title = {Dextr: Zero-Shot Neural Architecture Search with Singular Value Decomposition and Extrinsic Curvature},
author = {Rohan Asthana and Joschua Conrad and Maurits Ortmanns and Vasileios Belagiannis},
journal= {arXiv preprint arXiv:2508.12977},
year = {2025}
}
备注
Accepted at Transactions on Machine Learning Research (TMLR)