通过建立与重整化群的严格对应关系解释深度学习
无序系统与神经网络
2022-12-02 v1 概率论
摘要
本文聚焦于深度神经网络的可解释性。我们的工作受统计力学中重整化群(RG)的启发。RG在连接微观性质与宏观性质之间扮演桥梁角色，其粗粒化过程与神经网络算法前向传播中层间的计算极为相似。从这个观点出发，我们在深度神经网络(DNN)与RG之间建立了严格的对应关系。具体而言，我们考虑了最一般的全连接网络结构和一维Ising模型的实空间RG。我们证明，当神经网络参数达到其最优值时，神经网络输出的耦合常数极限等于一维Ising模型RG中耦合常数的固定点。这一结论表明，神经网络的训练过程等价于RG，因此网络像RG一样从输入数据中提取宏观特征。
引用
@article{arxiv.2212.00005,
title = {Interpreting Deep Learning by Establishing a Rigorous Corresponding Relationship with Renormalization Group},
author = {Fuzhou Gong and Zigeng Xia},
journal= {arXiv preprint arXiv:2212.00005},
year = {2022}
}