通过驯服符号问题实现神经网络层的高效反对称化
机器学习
2023-09-08 v2 数值分析
数值分析
量子物理
摘要
神经网络显式反对称化是通用反对称函数（在量子物理中无处不在）的通用函数逼近器的潜在候选。然而，该过程在实现上先验地具有阶乘级代价，使其对于大量粒子不切实际。该策略还遭受符号问题的困扰。即，由于正负贡献的近乎精确抵消，反对称化后函数的幅值可能显著小于反对称化之前。我们展示了两层神经网络的反对称投影可以被高效求值，为在反对称神经网络Ansatz中使用通用反对称层作为构建块打开了大门。当符号问题受控时该近似有效，并且我们表明该性质在标准Xavier/He初始化方法下关键依赖于激活函数的选择。因此，使用平滑激活函数需要与标准初始化相比重新缩放神经网络权重。
引用
@article{arxiv.2205.12250,
title = {Efficient anti-symmetrization of a neural network layer by taming the sign problem},
author = {Nilin Abrahamsen and Lin Lin},
journal= {arXiv preprint arXiv:2205.12250},
year = {2023}
}
备注
To appear in JML, ISSN: 2790-2048(e), 2790-203X(p)