基于 Bregman 迭代的神经架构搜索
机器学习
2021-06-07 v1 神经与进化计算
最优化与控制
摘要
我们提出了一种基于 Bregman 迭代的神经架构搜索（NAS）新策略。从稀疏神经网络出发，我们基于梯度的单步算法以逆尺度空间方式逐步添加相关参数。这使得网络能够在搜索空间中选择最适合给定任务的架构，例如通过添加神经元或跳跃连接。我们证明，使用我们的方法可以揭示用于去噪、去模糊和分类任务的残差自编码器。代码可在 https://github.com/TimRoith/BregmanLearning 获取。
引用
@article{arxiv.2106.02479,
title = {Neural Architecture Search via Bregman Iterations},
author = {Leon Bungert and Tim Roith and Daniel Tenbrinck and Martin Burger},
journal= {arXiv preprint arXiv:2106.02479},
year = {2021}
}