Poincaré-Boltzmann 机:从统计物理到机器学习再回归
神经元与认知
2019-07-16 v1
摘要
本文展示了应用于基因表达的信息上同调计算方法(见本文及 companion paper),并提出了其在统计物理与机器学习方面的解释。为了进一步强调信息函数与链式法则的 Hochschild 上同调性质,遵循前文,我们详述了低阶上同调的计算,以更直接地表明 元互信息(I_k)是 k-上边界。k-上闭条件对应于 I_k=0,推广了统计独立性。因此上同调量化了统计依赖性与对因子分解的阻碍。该拓扑方法允许在不假设独立同分布变量且不使用平均场近似的情况下研究多元信息。我们发展了由熵 H_k 与信息 I_k 景观及其各自路径表示的、计算上易处理的单形信息上同调子情形。I_1 分量定义了自内能 U_k,而 I_k(k>1) 分量定义了对 k 体相互作用的自由能 G_k(总关联)的贡献。单形结构中信息路径的集合与对称群和随机过程双射,为热力学第二定律提供了平凡的拓扑表达。自由能的局部极小值(与条件信息负性和条件独立性相关)刻画了最小自由能复形。该复形在拓扑中形式化了最小自由能原理,给出了复杂系统的定义,并刻画了量化生物学中所观测多样性的局部极小值的多重性。我给出了该复形在玻璃受阻挫以及数据点 Van Der Walls k 体相互作用方面的解释。
引用
@article{arxiv.1907.06486,
title = {The Poincar\'e-Boltzmann Machine: from Statistical Physics to Machine Learning and back},
author = {Pierre Baudot},
journal= {arXiv preprint arXiv:1907.06486},
year = {2019}
}