基于深度网络权重知识方差的免训练神经架构搜索
计算机视觉与模式识别
2025-02-10 v1
摘要
深度学习已彻底改变了计算机视觉，但其巨大成功依赖于大多为手工设计的深度网络架构，因此这些架构可能并非最优。神经架构搜索（NAS）旨在通过遵循一个定义明确的优化范式来弥合这一差距，该范式在给定目标标准（如最大分类准确率）下系统地寻找最佳架构。然而，NAS 的主要局限在于其天文数字般的计算成本，因为它通常需要从头训练每个候选网络架构。在本文中，我们旨在通过提出一种基于费雪信息的新型免训练图像分类准确率代理来缓解这一局限。所提出的代理具有坚实的统计学理论背景，它允许在不训练网络的情况下估计给定深度网络的预期图像分类准确率，从而显著降低标准 NAS 算法的计算成本。我们的免训练代理在三个公开数据集和两个搜索空间上，无论是使用先前提出的指标进行评估，还是使用我们提出的、并证明对实际 NAS 应用更具信息量的新指标进行评估，都取得了最先进的结果。源代码可在 http://www.github.com/ondratybl/VKDNW 公开获取。
引用
@article{arxiv.2502.04975,
title = {Training-free Neural Architecture Search through Variance of Knowledge of Deep Network Weights},
author = {Ondřej Týbl and Lukáš Neumann},
journal= {arXiv preprint arXiv:2502.04975},
year = {2025}
}