基于能量的神经网络生成动力学研究
神经与进化计算
2025-07-29 v1 机器学习
摘要
生成式神经网络可根据其训练分布的统计特性产生数据样本。这一特性可用于检验现代计算神经科学假说，即自发脑活动部分由自上而下的生成处理所支持。受限玻尔兹曼机（RBMs）是一类被广泛研究的生成模型，可用作无监督深度学习架构的构建模块。本工作中，我们系统探究RBMs的生成动力学，刻画自上而下采样期间访问的状态数量，并研究是否可通过从偏置隐状态启动生成过程来增加所访问吸引子的异质性。通过考虑一个在经典手写数字数据集上训练的RBM，我们表明通过从嵌合态（其编码多个数字的高层视觉特征）启动自上而下采样，可提升产生多样数据原型的能力。我们还发现该模型无法在单一生成轨迹中于所有可能数字状态间转换，表明自上而下动力学严重受能量函数形状约束。
引用
@article{arxiv.2305.06745,
title = {Investigating the generative dynamics of energy-based neural networks},
author = {Lorenzo Tausani and Alberto Testolin and Marco Zorzi},
journal= {arXiv preprint arXiv:2305.06745},
year = {2025}
}