用于神经与行为数据的多模态高斯过程变分自编码器

刻画神经群体活动与行为数据之间的关系是神经科学的中心目标。尽管潜变量模型（LVMs）在描述高维时间序列数据方面取得成功，但它们通常仅针对单一数据类型设计，难以识别不同实验数据模态间共享的结构。在此，我们通过提出一种无监督 LVM 来解决这一不足，该模型为不同的、同步记录的实验模态提取随时间演化的共享与独立潜变量。我们通过将高斯过程因子分析（GPFA，一种具有时间平滑潜空间、可解释的神经放电数据 LVM）与高斯过程变分自编码器（GP-VAEs，同样使用 GP 先验刻画潜空间中的相关性，但因深度神经网络到观测的映射而具备丰富表达能力）相结合来实现这一点。我们通过将潜变量变异性划分为各模态间共享或独立的成分，使模型具备可解释性。我们在傅里叶域中对模型的潜变量进行参数化，并表明相较于标准 GP-VAE 方法，该方法改进了潜变量识别。我们在由泊松放电计数和随时间平滑缩放与旋转的 MNIST 图像组成的模拟多模态数据上验证了模型。我们展示了多模态 GP-VAE（MM-GPVAE）不仅能够准确识别跨模态的共享与独立潜结构，还能在留出的试次上良好地重建图像与神经发放率。最后，我们在两个真实世界多模态实验场景中演示了我们的框架：果蝇全脑钙成像与追踪的肢体位置，以及 Manduca sexta 在动物追踪视觉刺激时来自十个翼肌的脉冲序列测量。