DNArch：通过反向传播学习卷积神经架构
机器学习
2023-07-25 v2 机器学习
摘要
我们提出可微神经架构（DNArch），一种通过反向传播联合学习卷积神经网络（CNNs）权重与架构的方法。具体而言，DNArch 允许学习（i）各层卷积核的大小，（ii）各层的通道数，（iii）下采样层的位置与取值，以及（iv）网络的深度。为此，DNArch 将神经架构视为连续多维实体，并沿各维度使用可学习的可微掩码来控制其大小。与现有方法不同，DNArch 不限于预定义的候选神经组件集合，而是能够在所有可行的核大小、宽度、深度与下采样组合中发现完整的 CNN 架构。经验上，DNArch 为序列与图像数据上的若干分类与密集预测任务找到了性能良好的 CNN 架构。当与控制网络复杂度的损失项结合时，DNArch 将其搜索约束于训练期间尊重预定义计算预算的架构。
引用
@article{arxiv.2302.05400,
title = {DNArch: Learning Convolutional Neural Architectures by Backpropagation},
author = {David W. Romero and Neil Zeghidour},
journal= {arXiv preprint arXiv:2302.05400},
year = {2023}
}