神经网络重整化变换中的对称性与泛化
机器学习
2025-10-21 v1 统计力学
人工智能
机器学习
摘要
深度学习模型在利用多层表示来学习结构数据的相关特征方面取得了巨大成功。将物理对称性编码到这些模型中可提高在困难任务上的性能，近期的工作激发了参数对称性破坏和恢复作为其层次学习动力学的统一机制。我们评估了参数对称性和网络表达性在学习真实空间重整化群(RG)转换时，针对中心极限定理(CLT)作为测试映射图的神经网络泛化行为中的作用。我们考虑简单的多层感知器(MLP)和图神经网络(GNN)，并在不同架构中变更权重对称性和激活函数。我们的结果揭示了对称性约束与表达性之间的竞争，过于复杂或过于受约束的模型泛化表现不佳。我们通过将CLT重构为累积量递归关系，并利用既定框架将累积量通过MLP传播，分析性地展示了某些受约束MLP架构的差异泛化行为。我们还经验上验证了该框架从MLP扩展到GNN，阐明了这些更复杂模型执行的内部信息处理。这些发现为理解对称网络的学习动力学及其在建模结构化物理变换中的限制提供了新见解。
引用
@article{arxiv.2510.16591,
title = {Symmetry and Generalisation in Neural Approximations of Renormalisation Transformations},
author = {Cassidy Ashworth and Pietro Liò and Francesco Caso},
journal= {arXiv preprint arXiv:2510.16591},
year = {2025}
}