使用高斯-牛顿近似学习增长网络的网络形态变换
机器学习
2024-11-12 v1 计算机视觉与模式识别
神经与进化计算
摘要
神经网络架构搜索（NAS）的一种流行方法是基于通过称为网络形态变换的小的局部变化来增长网络。这些方法从一个小型种子网络开始，通过以自动化方式添加新神经元来逐步增长网络。然而，高效地确定网络的哪些部分最适合增长仍然是一个挑战。在这里，我们提出了一种NAS方法，通过使用损失函数的高斯-牛顿近似来高效地学习和评估候选网络形态变换。我们将我们的方法与CIFAR-10和CIFAR-100分类任务的最先进NAS方法进行了比较，得出结论：我们的方法以更小的计算成本学习到相似或更好的架构。
引用
@article{arxiv.2411.05855,
title = {Learning Morphisms with Gauss-Newton Approximation for Growing Networks},
author = {Neal Lawton and Aram Galstyan and Greg Ver Steeg},
journal= {arXiv preprint arXiv:2411.05855},
year = {2024}
}
备注
12 pages, 4 figures