NeuralScale：面向资源受限深度神经网络的高效神经元缩放
计算机视觉与模式识别
2020-06-25 v1 机器学习
神经与进化计算
摘要
在设计深度神经网络时，为最大化性能而决定神经元数量并不直观。在本工作中，我们尝试搜索固定网络架构中最大化精度的神经元（滤波器）配置。使用迭代剪枝方法作为代理，我们将每层的神经元（滤波器）数量相对于参数变化进行参数化，从而能够跨任意规模高效缩放架构。我们还引入了架构下降（architecture descent），迭代地精炼用于模型缩放的参数化函数。两种提出方法的结合被称为NeuralScale。为证明NeuralScale在参数方面的效率，我们在VGG11、MobileNetV2和ResNet18上，使用CIFAR10、CIFAR100和TinyImageNet作为基准数据集进行了实证模拟。我们的结果显示，在参数受限设置下（默认配置的缩放因子为0.25的输出神经元（滤波器）），VGG11、MobileNetV2和ResNet18在CIFAR10、CIFAR100和TinyImageNet上的精度分别提升了3.04%、8.56%和3.41%。
引用
@article{arxiv.2006.12813,
title = {NeuralScale: Efficient Scaling of Neurons for Resource-Constrained Deep Neural Networks},
author = {Eugene Lee and Chen-Yi Lee},
journal= {arXiv preprint arXiv:2006.12813},
year = {2020}
}
备注
17 pages, 11 figures, accepted by CVPR as oral paper