中文

基于二维团簇变分法的自由能最小化:初始代码验证与确认

神经与进化计算 2019-06-27 v2

摘要

一种面向通用人工智能(GAI)的新方法建立在神经网络深度学习架构之上,可利用一个或多个隐藏层,这些隐藏层即使在输入刺激移除后也能持续达到自由能最小值,从而支持多种可能的行为。该方法至今未被发展的一个原因是缺乏合适的自由能方程。团簇变分法(CVM)提供了一种刻画二维局部模式分布(即构型变量)的手段,并给出了以这些构型变量表示的自由能形式体系。对于双态单元等概率分布的情形,这些构型变量的平衡分布由单一相互作用焓参数 h 定义。对于非等概率分布,平衡分布可通过给定处于激活态的单元比例(x1)的固定值来刻画,该比例对应于每单元激活焓的影响,同时结合成对相互作用焓参数 h。本文对计算由不同相互作用焓参数(即 h 值)表征的二维 CVM 网格的构型变量与热力学值的代码进行了验证与确认(V&V)。该工作为试验基于二维 CVM 的隐藏层奠定了基础,该隐藏层可作为对输入严格响应的替代方案,也能独立达到自身的自由能最小值,并在扰动后返回自由能最小化状态,从而支持一系列输入无关的行为。二维 CVM 网格的另一用途是:通过以相应 h 值(连同其 x1 值)刻画局部模式,我们获得了定量刻画不同神经地形类型的方法。

关键词

引用

@article{arxiv.1801.08113,
  title  = {Free Energy Minimization Using the 2-D Cluster Variation Method: Initial Code Verification and Validation},
  author = {Alianna J. Maren},
  journal= {arXiv preprint arXiv:1801.08113},
  year   = {2019}
}

备注

26 pages, 14 figures; minor rewording, references added