神经网络中具有先验知识的无监督学习的统计物理
无序系统与神经网络
2020-06-19 v2 统计力学
机器学习
摘要
在无监督学习中将感官输入与来自过往经验的先验信念相整合，是脑或人工神经计算的常见且基本特征。然而，先验知识在无监督学习中的定量作用仍不清楚，阻碍了对无监督学习的科学理解。在此，我们提出一个具有先验知识的无监督学习的统计物理模型，揭示感官输入驱动了一系列与自发内禀对称性破缺相关的连续相变。该内禀对称性包含反演对称性和置换对称性，在绝大多数人工神经网络中普遍可见。与无先验情形相比，先验更强地减小了触发反演对称性破缺转变的最小数据规模，并且先验合并而非分离了置换对称性破缺相。我们主张先验可从数据样本中学习，这在物理上对应于双参数 Nishimori 约束。因此，本工作揭示了先验对无监督学习的影响机制。
引用
@article{arxiv.1911.02344,
title = {Statistical physics of unsupervised learning with prior knowledge in neural networks},
author = {Tianqi Hou and Haiping Huang},
journal= {arXiv preprint arXiv:1911.02344},
year = {2020}
}
备注
15 pages, 3 figures with supplemental material