ResNet 中的变分深度搜索
机器学习
2020-04-03 v4 机器学习
摘要
一次性神经架构搜索允许联合学习权重与网络架构，从而降低计算成本。我们将搜索空间限制为残差网络的深度，并构建一个解析上易处理的变分目标，该目标可在一次性搜索中获得关于深度的无偏近似后验。我们提出一种基于该分布的启发式方法来剪枝网络。我们在 MNIST、Fashion-MNIST、SVHN 数据集上将所提方法与手动搜索网络深度进行比较。我们发现剪枝后的网络在预测性能上未出现损失，取得了与未剪枝网络相竞争的准确率。对深度进行边缘化使我们能够在单次前向传播中获得比常规网络更好校准的测试时不确定性估计。
引用
@article{arxiv.2002.02797,
title = {Variational Depth Search in ResNets},
author = {Javier Antorán and James Urquhart Allingham and José Miguel Hernández-Lobato},
journal= {arXiv preprint arXiv:2002.02797},
year = {2020}
}
备注
Appearing at the 1st ICLR workshop on Neural Architecture Search 2020