深度神经网络的鲁棒训练与初始化：自适应基视角
机器学习
2019-12-11 v1 数值分析
数值分析
机器学习
摘要
受深度神经网络（DNNs）理论最优逼近率与实际所达精度之间差距的驱动，我们致力于改进 DNNs 的训练。采用 DNNs 的自适应基视角引出了新颖的初始化方法和混合最小二乘/梯度下降优化器。我们提供了对这些技术的分析，并通过数值例子说明，在表征当前使用 DNNs 的科学应用的基准测试中，包括回归问题和用于求解偏微分方程的物理信息神经网络，精度和收敛速度得到了显著提升。
引用
@article{arxiv.1912.04862,
title = {Robust Training and Initialization of Deep Neural Networks: An Adaptive Basis Viewpoint},
author = {Eric C. Cyr and Mamikon A. Gulian and Ravi G. Patel and Mauro Perego and Nathaniel A. Trask},
journal= {arXiv preprint arXiv:1912.04862},
year = {2019}
}
备注
26 pages