利用动态模态分解加速人工神经网络训练
机器学习
2020-06-26 v1 计算工程、金融与科学
信号处理
计算物理
摘要
深度神经网络（DNNs）的训练经常涉及优化数百万甚至数十亿参数。即便使用现代计算架构，DNN训练的计算开销也会阻碍网络架构设计优化、超参数研究以及融入科研循环等。限制性能的关键因素是：在优化的更新规则中，每个权重都需要前馈求值与反向传播规则。在本工作中，我们提出一种方法，将每个权重上更新规则的求值解耦。首先，使用本征正交分解（POD）基于少量反向传播步观察到的演化，识别每层权重演化的主方向当前估计。然后，使用动态模态分解（DMD）依据这些主方向学习每层权重演化的动力学。该DMD模型用于评估训练ANN时的近似收敛状态。之后，从DMD估计出发执行若干反向传播步，从而更新主方向与DMD模型。这一迭代过程重复直至收敛。通过微调用于每个DMD模型估计的反向传播步数，可显著减少训练神经网络所需操作数。本文详细解释DMD加速方法，并提供DMD所带来加速的理论依据。该方法用科学机器学习界关注的一个回归问题予以说明：在扩散、平流、反应问题中预测污染物浓度场。
引用
@article{arxiv.2006.14371,
title = {Accelerating Training in Artificial Neural Networks with Dynamic Mode Decomposition},
author = {Mauricio E. Tano and Gavin D. Portwood and Jean C. Ragusa},
journal= {arXiv preprint arXiv:2006.14371},
year = {2020}
}