动量如何有益于深度神经网络架构设计？若干案例研究
机器学习
2021-10-20 v2 数值分析
动力系统
数值分析
摘要
我们提出并回顾了一个通过动量改进神经网络架构设计的算法与理论框架。作为案例研究，我们考察了动量如何改进循环神经网络(RNNs)、神经常微分方程(ODEs)和transformers的架构设计。我们表明，将动量整合进神经网络架构具有若干显著的理论与实证益处，包括：1)将动量整合进RNNs和神经ODEs可克服训练RNNs和神经ODEs中的梯度消失问题，从而实现长期依赖的有效学习；2)神经ODEs中的动量可降低ODE动态的刚性，显著提升训练与测试的计算效率；3)动量可提升transformers的效率与精度。
引用
@article{arxiv.2110.07034,
title = {How Does Momentum Benefit Deep Neural Networks Architecture Design? A Few Case Studies},
author = {Bao Wang and Hedi Xia and Tan Nguyen and Stanley Osher},
journal= {arXiv preprint arXiv:2110.07034},
year = {2021}
}
备注
40 pages, 15 figures. arXiv admin note: substantial text overlap with arXiv:2006.06919, arXiv:2110.04840