比较玻尔兹曼机中的信息论复杂度度量

在过去的三十年中，提出了许多理论复杂度度量以帮助理解复杂系统。在这项工作中，我们首次将这些度量置于同等地位，以探索它们之间的定性相似性和差异及其局限性。具体而言，我们使用具有均匀分布权重的玻尔兹曼机架构（一种全连接循环神经网络）作为研究模型，数值测量了复杂度如何随网络动力学和网络参数的变化而变化。我们应用了其中一种信息论复杂度度量的扩展形式，以理解 Hopfield 网络（一种全循环架构的自联想记忆模型）中的增量 Hebbian 学习。在 Hebbian 学习过程中，总信息流反映了随着网络试图学习越来越多模式而自然上升的复杂度趋势。