基于快速分裂最速下降的能耗感知神经架构优化
机器学习
2020-07-10 v3 机器学习
摘要
在设计高能效网络对于在算力和能耗预算高度受限的移动和边缘设备上实现最先进的深度学习至关重要。最近，Liu 等人 (2019) 将高效神经架构的搜索构建为连续的分裂过程：它迭代地将现有神经元分裂为多个子代以实现渐进的损失最小化，从而通过逐渐增长神经网络来发现新架构。然而，该方法并非专为设计高能效网络而定制，且在大规模基准上计算昂贵。在本工作中，我们以两种重要方式大幅改进 Liu 等人 (2019)：1) 我们纳入分裂不同神经元的能耗代价以更好地引导分裂过程，从而发现更具能效的网络架构；2) 我们大幅加速了 Liu 等人 (2019) 的分裂过程（其需要昂贵的本征分解），提出了高度可扩展的 Rayleigh 商随机梯度算法。我们的快速算法将分裂的计算代价降低到与典型反向传播更新相同水平，并支持在 GPU 上高效实现。大量实证结果表明，我们的方法可在 ImageNet 等具有挑战性的数据集上训练高精度且高能效的网络，改进了包括基于剪枝的方法和专家设计架构在内的多种基线。
引用
@article{arxiv.1910.03103,
title = {Energy-Aware Neural Architecture Optimization with Fast Splitting Steepest Descent},
author = {Dilin Wang and Meng Li and Lemeng Wu and Vikas Chandra and Qiang Liu},
journal= {arXiv preprint arXiv:1910.03103},
year = {2020}
}