短视的深度学习
机器学习
2020-07-15 v1 统计力学
计算物理
机器学习
摘要
解释深度学习如何起效的理论尚待建立。先前的研究表明，深度学习执行了一种粗粒化，其精神类似于重整化群（RG）。这一思想已在局部（最近邻相互作用）伊辛自旋格点的背景下得到探讨。我们将讨论扩展至长程自旋格点的情形。马尔可夫链蒙特卡洛（MCMC）模拟确定了系统的临界温度与标度维数。该模型被用于训练单个 RBM（受限玻尔兹曼机）网络以及一个堆叠 RBM 网络。遵循早先的伊辛模型研究，单层 RBM 网络的训练权重定义了一族格点模型的流。与最近邻伊辛的结果相反，长程模型的 RBM 流并未收敛到自旋与能量标度维数的正确值。此外，可见节点与隐藏节点之间的关联函数在堆叠 RBM 与 RG 流之间表现出关键差异。堆叠 RBM 流似乎朝向低温移动，而 RG 流则朝向高温移动。这再次不同于最近邻伊辛所得的结果。
引用
@article{arxiv.2002.02664,
title = {Short sighted deep learning},
author = {Ellen de Melllo Koch and Anita de Mello Koch and Nicholas Kastanos and Ling Cheng},
journal= {arXiv preprint arXiv:2002.02664},
year = {2020}
}