贝叶斯重整化

在本札记中，我们提出一种受贝叶斯统计推断启发的、完全信息论的重整化方法，称之为贝叶斯重整化。贝叶斯重整化的核心洞见在于，Fisher 度规定义了一个关联长度，其充当涌现 RG 尺度，量化概率分布空间中邻近点的可区分性。该 RG 尺度可解释为在统计推断实验中对给定系统所能做出的最大独立观测数。贝叶斯重整化方案的作用随后是制备给定系统的有效模型，其精度受上述尺度所界。在贝叶斯重整化对物理系统的应用中，涌现的信息论尺度自然等同于当前实验装置可探测的最大能量，因此贝叶斯重整化与通常的重整化一致。然而，贝叶斯重整化足够一般，即便在缺乏直接物理尺度的情况下亦适用，从而为数据科学情境中的重整化提供了理想途径。为此，我们阐明了贝叶斯重整化方案如何与现有数据压缩与数据生成方法（如信息瓶颈与扩散学习范式）相关联。最后，我们设计了受量子场论中 Wilson 动量壳重整化方案启发的显式贝叶斯重整化形式。我们将该贝叶斯重整化方案应用于简单神经网络，并验证了其在按信息论重要性层级组织模型参数方面的意义。