基于随机增广拉格朗日方法的物理约束下神经网络训练
计算物理
2020-09-17 v1 机器学习
最优化与控制
等离子体物理
机器学习
摘要
我们研究了在物理约束下训练编码器-解码器神经网络，以近似 XGC 中五维动力学聚变模拟中的 Fokker-Planck-Landau 碰撞算子。为训练该网络，我们提出了一种随机增广拉格朗日方法，其利用 pyTorch 原生的随机梯度下降法求解内层无约束最小化子问题，并在外层增广拉格朗日循环中配合惩罚因子与拉格朗日乘子的启发式更新。针对单一离子种类（含自碰撞及与电子碰撞）情形的训练结果表明，对于我们所述应用问题，所提随机增广拉格朗日方法比固定惩罚法训练能达到更高的模型预测精度，且精度足以满足动力学模拟中的实际应用。
引用
@article{arxiv.2009.07330,
title = {Training neural networks under physical constraints using a stochastic augmented Lagrangian approach},
author = {Alp Dener and Marco Andres Miller and Randy Michael Churchill and Todd Munson and Choong-Seock Chang},
journal= {arXiv preprint arXiv:2009.07330},
year = {2020}
}