深度学习是一种重整化群流吗？
机器学习
2020-06-11 v2 统计力学
计算物理
机器学习
摘要
尽管实际应用发展迅速，但对深度学习的理论解释仍处于起步阶段。深度学习执行了一种复杂的粗粒化过程。由于粗粒化是重整化群（RG）的关键要素，RG可能为深度学习提供一个直接相关的有用理论框架。本研究探讨了这一可能性。我们使用一个磁性材料的统计力学模型——伊辛模型，来训练一个无监督的限制玻尔兹曼机（RBM）。将训练后的RBM生成的模式与通过伊辛模型的RG处理产生的构型进行比较。虽然我们的动机源于深度学习与RG流之间的联系，但在本研究中，我们主要侧重于将深度网络的单层与RG流中的单步进行比较。我们认为，隐藏神经元和可见神经元之间的关联函数能够诊断类似RG的粗粒化。数值实验表明，在使用训练后的RBM计算的关联器中存在类似RG的模式。我们所考虑的观测量也能够揭示RG与深度学习之间的重要差异。
引用
@article{arxiv.1906.05212,
title = {Is Deep Learning a Renormalization Group Flow?},
author = {Ellen de Mello Koch and Robert de Mello Koch and Ling Cheng},
journal= {arXiv preprint arXiv:1906.05212},
year = {2020}
}
备注
This article has been accepted for publication in a future issue of this journal, but has not been fully edited. Content may change prior to final publication. Citation information: DOI 10.1109/ACCESS.2020.3000901, IEEE Access