神经架构搜索：两种常数共享权重初始化
机器学习
2025-07-08 v3 人工智能
摘要
在过去十年中，零成本度量因能在不训练的情况下评估架构而在神经架构搜索（NAS）中获得了突出地位。这些度量比传统 NAS 方法显著更快且计算开销更低，并提供了对神经架构内部运作的洞察。本文提出 epsinas，一种新颖的零成本 NAS 度量，它使用两种常数共享权重初始化及其输出的统计量来评估架构潜力。我们表明，原始输出的离散度经其平均幅值归一化后，与训练后的准确率强相关。该效应在 NAS-Bench-101、NAS-Bench-201 与 NAS-Bench-NLP 上的图像分类与语言任务中均成立。我们的方法不需要数据标签，在单个 minibatch 上运行，并免除了梯度计算的需要，使其独立于训练超参数、损失度量与人类标注。它能在不到一 GPU 秒的时间内评估一个网络，并可无缝集成到现有 NAS 框架中。支持本研究代码可在 GitHub 上找到：https://github.com/egracheva/epsinas。
引用
@article{arxiv.2302.04406,
title = {Neural Architecture Search: Two Constant Shared Weights Initialisations},
author = {Ekaterina Gracheva},
journal= {arXiv preprint arXiv:2302.04406},
year = {2025}
}