权重纠缠遇上基于梯度的神经架构搜索
机器学习
2025-11-11 v2 人工智能
摘要
权重共享是神经架构搜索 (NAS) 中的一个基本概念，使得基于梯度的方法能够比传统黑盒方法显著更快地探索基于单元的架构空间。与此同时，权重纠缠作为一种在宏观架构空间中进行更复杂参数共享的技术而出现。由于权重纠缠与基于梯度的 NAS 方法不直接兼容，这两种范式在很大程度上在平行的子社区中独立发展。本文旨在通过提出一种将基于梯度的方法适应于权重纠缠空间的新方案来弥合这些子社区之间的差距。这使我们能够对基于梯度的 NAS 在权重纠缠搜索空间中的性能进行深入的比较评估和分析。我们的发现表明，权重纠缠与基于梯度的 NAS 的这种整合带来了基于梯度方法的各种益处，同时保留了权重纠缠空间的内存效率。我们工作的代码已开源：https://github.com/automl/TangleNAS。
引用
@article{arxiv.2312.10440,
title = {Weight-Entanglement Meets Gradient-Based Neural Architecture Search},
author = {Rhea Sanjay Sukthanker and Arjun Krishnakumar and Mahmoud Safari and Frank Hutter},
journal= {arXiv preprint arXiv:2312.10440},
year = {2025}
}