哈密顿深度神经网络的统一框架
机器学习
2021-04-28 v1
摘要
训练深度神经网络（DNNs）可能因权值优化期间出现梯度消失/爆炸而变得困难。为避免该问题，我们提出一类源于哈密顿系统时间离散化的 DNNs。相应哈密顿模型的时不变版本具有边际稳定性，如先前工作针对特定 DNNs 架构所表明，该性质可缓解梯度收敛至零或发散。本文中，我们通过推导并分析连续时间下的反向梯度动力学，正式研究该特性。所提哈密顿框架除涵盖现有受边际稳定 ODE 启发的网络外，还允许推导新的且更具表达力的架构。新 DNNs 的良好性能在基准分类问题上得到验证，包括使用 MNIST 数据集的数字识别。
引用
@article{arxiv.2104.13166,
title = {A unified framework for Hamiltonian deep neural networks},
author = {Clara L. Galimberti and Liang Xu and Giancarlo Ferrari Trecate},
journal= {arXiv preprint arXiv:2104.13166},
year = {2021}
}
备注
11 pages, 4 figures, accepted for L4DC 2021