基于玻恩级数的神经网络微扰理论
机器学习
2021-06-30 v2 核理论
计算物理
机器学习
摘要
在过去的十年中,使用同名深度神经网络(DNN)的深度学习已成为解决理论物理中各种基于数据的问题的一种有吸引力的方法。一个明显的趋势是更深的架构包含越来越强大和复杂的层。相反,DNN的泰勒系数主要仍出现在可解释性研究的视角中,至多计算到一阶。然而,特别是在理论物理中,大量问题也受益于获取更高阶项。这一差距促使我们需要给出神经网络(NN)泰勒展开的一般表述。将分析限制于多层感知机(MLP),并引入我们称之为传播子和顶点的量(二者均依赖于MLP的权重和偏置),我们建立了一个图论方法。类似于量子场论中的费曼规则,我们可以系统地将包含传播子和顶点的图指派给相应的偏导数。在针对浅势的S波散射长度检验该方法时,我们观察到NN主要将其导数适配于目标函数泰勒展开的领头阶。为规避此问题,我们提出了一种迭代式NN微扰理论。在每次迭代中我们消去领头阶,使得次领头阶可在后续迭代中被忠实学习。在执行两次迭代后,我们发现第一阶和第二阶玻恩项在各自迭代中被正确适配。最后,我们结合两项结果得到一个充当机器学习二阶玻恩近似的代理。
引用
@article{arxiv.2009.03192,
title = {A Neural Network Perturbation Theory Based on the Born Series},
author = {Bastian Kaspschak and Ulf-G. Meißner},
journal= {arXiv preprint arXiv:2009.03192},
year = {2021}
}
备注
29 pages, 4 figures, revised with more focus on neural network perturbation theory, accepted for publication in Phys. Rev. Research