概率、物理与神经网络之间的一种联系
机器学习
2022-09-27 v1 机器学习
计算物理
数据分析、统计与概率
统计计算
统计方法学
摘要
我们阐述了一种可用于构造先验服从物理定律的神经网络的方法。我们从一个简单的单层神经网络（NN）出发，但暂不选定激活函数。在特定条件与无限宽度极限下，可应用中心极限定理，此时NN输出变为高斯分布。我们便可借助高斯过程（GP）理论来研究并操控该极限网络。观察到作用于GP的线性算子仍给出GP。这对于定义微分方程及描述物理定律的微分算子同样成立。若要求GP（或等价地极限网络）服从该物理定律，则这给出GP协方差函数或核的一个方程，其解等价地约束模型服从物理定律。中心极限定理进而提示，可通过选择激活函数使其在无限宽度极限匹配特定核来构造服从物理定律的NN。以此方式构造的激活函数保证NN先验服从物理规律，直至非无限网络宽度的近似误差。讨论了齐次一维Helmholtz方程的简单示例，并与朴素核及激活函数作了比较。
引用
@article{arxiv.2209.12737,
title = {A connection between probability, physics and neural networks},
author = {Sascha Ranftl},
journal= {arXiv preprint arXiv:2209.12737},
year = {2022}
}