STEERAGE：基于架构搜索与生长-剪枝方法的神经网络合成
神经与进化计算
2019-12-13 v1 计算机视觉与模式识别
机器学习
摘要
神经网络（NNs）已成功部署于诸多应用。然而，这些模型的架构设计仍具挑战性。此外，神经网络已知存在大量冗余。这增加了推理的计算成本，并对在物联网传感器与边缘设备上的部署构成障碍。为应对这些挑战，我们提出 STEERAGE 合成方法。其包含两种互补途径：高效架构搜索，以及生长-剪枝神经网络合成。第一步由全局搜索模块覆盖，使用精度预测器高效导航架构搜索空间。该预测器通过提升决策树回归、迭代采样与高效进化搜索构建。第二步涉及局部搜索。通过使用多种生长-剪枝方法合成卷积与前馈神经网络，其在提升性能的同时降低网络冗余。我们在包括 MNIST 与 CIFAR-10 的多个数据集上评估了 STEERAGE 性能。在 MNIST 数据集上，我们的 CNN 架构错误率为 0.66%，参数较 LeNet-5 基线减少 8.6 倍。对于 CIFAR-10 数据集，我们使用 ResNet 架构作为基线。我们的 STEERAGE 合成 ResNet-18 较原始 ResNet-18 精度提升 2.52%，较 ResNet-101 提升 1.74%，较 ResNet-1001 提升 0.16%，同时参数与 FLOPs 数量与原始 ResNet-18 相当。这表明，替代仅增加层数以提升精度，另一种方案是使用层数更少但更优的 NN 架构。此外，STEERAGE 通过 40 层 ResNet 变体架构实现了仅 3.86% 的错误率。据我们所知，这是基于 ResNet 的架构在 CIFAR-10 数据集上取得的最高精度。
引用
@article{arxiv.1912.05831,
title = {STEERAGE: Synthesis of Neural Networks Using Architecture Search and Grow-and-Prune Methods},
author = {Shayan Hassantabar and Xiaoliang Dai and Niraj K. Jha},
journal= {arXiv preprint arXiv:1912.05831},
year = {2019}
}
备注
12 pages, 4 figures