从自由能原理涌现的自正交化吸引子神经网络

吸引子动力学是包括大脑在内的许多复杂系统的标志。理解这种自组织动力学如何从第一性原理中涌现，对于推进我们对神经计算和人工智能系统设计的理解至关重要。在此，我们形式化了吸引子网络如何从应用于随机动力学系统普遍划分的自由能原理中涌现。我们的方法免除了对显式施加的学习和推断规则的需求，并识别出此类自组织系统的涌现的、但高效且生物学合理的推断与学习动力学。这些动力学导致了一个集体的、多层次的贝叶斯主动推断过程。自由能景观上的吸引子编码先验信念；推断将感觉数据整合为后验信念；学习微调耦合以最小化长期意外。通过分析和模拟，我们确立了所提出的网络倾向于近似正交化的吸引子表示，这是同时优化预测准确性和模型复杂度的结果。这些吸引子有效地张成了输入子空间，增强了泛化能力以及隐藏原因与可观测效应之间的互信息。此外，虽然随机数据呈现导致对称且稀疏的耦合，但序列数据培育了不对称耦合和非平衡稳态动力学，提供了传统玻尔兹曼机的自然推广。我们的发现提供了自组织吸引子网络的统一理论，为人工智能和神经科学提供了新见解。