重整化群与信息论中的相关性
统计力学
2021-06-23 v1 无序系统与神经网络
信息论
math.IT
摘要
对复杂物理系统的分析依赖于从众多自由度中提取出相关自由度的能力。尽管人们对机器学习寄予厚望,它也带来挑战,其中主要是可解释性。通常不清楚架构与训练依赖的所学“相关”特征与物理理论的标准对象有何关系(若有)。此处我们报告可能有助于系统性解决该问题的理论结果:我们建立了压缩理论的信息瓶颈(IB)形式论中定义的信息论相关性概念与重整化群的场论相关性之间的等价性。我们分析地证明,对于由场论描述的统计物理系统,使用 IB 压缩发现的“相关”自由度确实对应于具有最低标度维数的算符。我们以数值方式确认了场论预测。我们研究了 IB 解对数据物理对称性的依赖。我们的发现提供了一个连接两个不同理论工具箱的词典,以及将物理可解释性建设性纳入物理深度学习应用的一个范例。
引用
@article{arxiv.2012.01447,
title = {Relevance in the Renormalization Group and in Information Theory},
author = {Amit Gordon and Aditya Banerjee and Maciej Koch-Janusz and Zohar Ringel},
journal= {arXiv preprint arXiv:2012.01447},
year = {2021}
}