神经网络的尺度不变特征提取与重整化群流
高能物理 - 理论
2018-05-16 v1 统计力学
机器学习
机器学习
摘要
深度神经网络（DNN）如何从输入图像中提取特征在理论上仍不清楚，但人们广泛认为该提取是通过粗粒化过程分层进行的。这令我们联想到统计物理中重整化群（RG）的基本概念。为探索 DNN 与 RG 之间可能的关系，我们使用应用于伊辛模型的受限玻尔兹曼机（RBM）并构造由 RBM 生成的模型参数（特别是温度）的流。我们表明，由 到 各温度下的自旋构型无监督训练的 RBM 产生一个温度趋近于临界值 的流。该行为与伊辛模型的典型 RG 流相反。通过分析训练后 RBM 权重矩阵的各种性质，我们讨论其为何流向 以及 RBM 如何学习提取自旋构型的特征。
引用
@article{arxiv.1801.07172,
title = {Scale-invariant Feature Extraction of Neural Network and Renormalization Group Flow},
author = {Satoshi Iso and Shotaro Shiba and Sumito Yokoo},
journal= {arXiv preprint arXiv:1801.07172},
year = {2018}
}
备注
32 pages, 17 figures