玻尔兹曼机的反学习正则化

玻尔兹曼机（BMs）是一种具有互连二元单元的图模型，用于数据分布的无监督建模。当在真实数据上训练时，BMs表现出像临界系统一样的行为，即在推断参数的微小重标度下显示出模型的高易感性。这种行为不利于数据生成，因为它减慢了采样过程，并导致模型对训练数据过拟合。在本研究中，我们引入了一种针对BMs的正则化方法，以提高模型在参数重标度下的鲁棒性。该新技术与反学习算法在形式上相似，反学习是一种用于改善类Hopfield神经网络中记忆关联性的迭代过程。我们在由两个简单模型——Curie-Weiss铁磁模型和Sherrington-Kirkpatrick自旋玻璃模型——生成的合成数据上测试了我们的反学习正则化。我们表明其优于$L_p$范数方案，并讨论了参数初始化的作用。最终，该方法被应用于学习真实神经元细胞的活动，证实了其将推断模型移离临界性的有效性，并成为实际科学应用的有力候选。