多尺度神经活动中非线性潜在因子的动力学建模与实时推断

从多个同时记录的神经时间序列模态（如离散脉冲活动和连续场势）中实时解码目标变量在 various neuroscience applications 中至关重要。然而，面对这样做的主要挑战在于，不同的神经模态可以具有不同的时间尺度（即采样率）和不同的概率分布，甚至在某些时间步骤中缺失。现有的多模态神经活动非线性模型未解决不同时间尺度或缺失样本跨模态的问题。进一步，一些模型不允许实时解码。为此，我们发展了一个学习框架，可在实时内处理不同模态、不同时间尺度和分布的非线性聚合信息，同时处理缺失样本，实现实时递归解码。该框架包括1) 多尺度编码器，在学习模态内动态后进行非线性聚合，以处理不同时间尺度和缺失样本的实时情况；2) 多尺度动力学主干网络，提取多模态时序动态，实现实时递归解码；3) 模态特定解码器，以因应不同模态的概率分布。我们在模拟数据和三个不同的多尺度脑数据集上表明，该模型能够聚合来自不同时间尺度和分布的模态信息和缺失样本，以提高实时目标解码。进一步，我们的方法在实现这一目标方面优于各种线性和非线性多模态基准。