分层指数族能量基模型中的神经采样

贝叶斯大脑理论表明，大脑利用生成模型来理解外部世界。基于采样的视角认为，大脑通过随机神经元响应的样本推断后验分布。此外，大脑持续更新其生成模型以逼近外部世界的真实分布。在本研究中，我们引入分层指数族能量基（HEE）模型，该模型捕捉推断与学习的动态过程。在 HEE 模型中，我们将配分函数分解为各个层，并利用一组具有更短时间常数的神经元对分解后的归一化项的梯度进行采样。这使得我们的模型能够同时估计配分函数并执行推断，规避了传统能量基模型（EBMs）中遇到的负相。因此，学习过程在时间和空间上均是局部的，且模型易于收敛。为了匹配大脑的快速计算，我们证明神经适应可作为动量项，显著加速推断过程。在自然图像数据集上，我们的模型展现出与生物视觉系统中观察到的相似表征。此外，对于机器学习领域，我们的模型可通过联合或边缘生成来生成观测。我们表明边缘生成优于联合生成，并达到与其他 EBMs 相当的性能。