SCANN：紧凑且准确神经网络的合成
神经与进化计算
2021-03-30 v2 机器学习
摘要
深度神经网络（DNNs）已成为近期人工智能（AI）研究的驱动力。实现神经网络的一个重要问题是其架构的设计。通常，这种架构是通过探索其超参数空间手动获得的，并在训练期间保持固定。这种方法耗时且低效。另一个问题是现代神经网络常包含数百万参数，而许多应用和设备需要小型推理模型。然而，将 DNNs 迁移到此类设备的努力通常伴随分类精度的显著损失。为应对这些挑战，我们提出一种称为 DR+SCANN 的两步神经网络合成方法，它结合两种互补方法来设计紧凑且准确的 DNNs。我们框架的核心是 SCANN 方法，其使用三种基本架构改变操作，即连接增长、神经元增长和连接剪枝，来合成具有任意结构的前馈架构。SCANN 封装了三种合成方法，它们对三种架构起点应用重复的“增长—剪枝”范式。DR+SCANN 将 SCANN 方法与数据集降维结合以缓解维数灾难。我们在各种图像和非图像数据集上展示了 SCANN 和 DR+SCANN 的有效性。我们在 MNIST 和 ImageNet 基准上评估 SCANN。此外，我们还在九个中小型数据集上评估了将降维与 SCANN 结合使用（DR+SCANN）的功效。我们还表明，我们的合成方法产生的神经网络在精度与能效空间中导航能力更强。这将使基于神经网络的推理甚至能在物联网传感器上实现。
引用
@article{arxiv.1904.09090,
title = {SCANN: Synthesis of Compact and Accurate Neural Networks},
author = {Shayan Hassantabar and Zeyu Wang and Niraj K. Jha},
journal= {arXiv preprint arXiv:1904.09090},
year = {2021}
}
备注
13 pages, 8 figures