谁先制动谁输：基于端口哈密顿动力学的深度神经网络目标导向训练
机器学习
2023-04-17 v1 计算机视觉与模式识别
摘要
深度神经网络损失作为参数的高度结构化能量景观，使得有必要使用精细优化策略以发现保证合理性能的（局部）极小值。克服较不适的局部极小值是重要前提，常采用动量法实现。正如其他非局部优化过程，这造成了平衡探索与利用的必要性。本工作中，我们提出一种基于事件的调控机制，用于在达到预定义损失降幅时从探索切换至利用。由于我们赋予动量法端口哈密顿解释，我们应用“带摩擦的重球”解释，并在达成特定目标时触发制动（或摩擦）。我们将方法与标准随机梯度下降基准比较，并给出应用该策略时深度神经网络性能提升的实验证据。
引用
@article{arxiv.2304.07070,
title = {Who breaks early, looses: goal oriented training of deep neural networks based on port Hamiltonian dynamics},
author = {Julian Burghoff and Marc Heinrich Monells and Hanno Gottschalk},
journal= {arXiv preprint arXiv:2304.07070},
year = {2023}
}
备注
6 pages, 3 figures