神经网络场论中的贝叶斯RG流

神经网络场论对应（NNFT）是从神经网络（NN）架构映射到统计场论（SFT）空间的对应关系。贝叶斯重整�群（BRG）是一种信息论粗糙化方案，概括了exact重整�群（ERG）的原则，可适用于任意参数化概率分布，包括NN的参数。在BRG中，粗糙化是在参数空间中进行的，相对于由Fisher信息度量确定的信息论可区分尺度进行。在本文中，我们将NNFT和BRG统一，构成一种新型强大框架，用于探索NN和SFT的空间，我们将其称为BRG-NNFT。通过BRG-NNFT，NN训练动力学可解释为在SFT空间中沿信息论`IR'→`UV'方向的流。反之，对训练后网络参数施加信息论壳粗糙化，可在SFT空间中诱导从信息论`UV'→`IR'的流。当信息论截断尺度与标准动量尺度一致时，BRG等价于ERG。我们在两个可解析的例子中演示了BRG-NNFT对应关系。首先，我们为训练的、任意深度的无限宽度NN构建BRG流，适用于通用激活函数。作为一个特例，我们 then restrict 到具有单个无限宽度层、标量输出和广义cos-net激活函数的架构。在这种情况下，我们表明BRG粗糙化恰好对应于自由标量SFT的动量壳ERG流。我们的解析结果得到数值实验的支持：一组渐近宽NN被训练后，使用信息论壳BRG方案进行重整�。