Population Transformer：学习神经活动的群体级表示

Geeling Chau; Christopher Wang; Sabera Talukder; Vighnesh Subramaniam; Saraswati Soedarmadji; Yisong Yue; Boris Katz; Andrei Barbu

Population Transformer：学习神经活动的群体级表示

机器学习 2025-03-31 v4 神经元与认知

作者: Geeling Chau , Christopher Wang , Sabera Talukder , Vighnesh Subramaniam , Saraswati Soedarmadji , Yisong Yue , Boris Katz , Andrei Barbu

在 arXiv 上查看 ↗ PDF ↗

摘要

我们提出一种自监督框架,用于学习任意规模神经记录 ensemble 的群体级编码。我们解决了在神经时间序列数据规模化模型中的关键挑战,即不同受试者和数据集中电极分布稀疏且可变。Population Transformer (PopT) 在预训练的时间嵌入之上,通过启用对多个空间稀疏数据通道的学习性聚合来增强下游解码。预训练的 PopT 降低了下游解码实验所需的数据量,同时提高了准确率,即使是在 held-out 受试者和任务上也是如此。与端到端方法相比,这种方法计算轻量,而且在解码性能上实现了相似或更好的效果。我们进一步展示了该框架对多种时间序列嵌入和神经数据模态具有普适性。除了解码之外,我们解释了预训练和微调的 PopT 模型,以显示它们如何用于从大量数据中提取神经科学洞见。我们发布了代码以及预训练的 PopT,以便即插即用地提高多通道内侧电位数据解码和可解释性。代码地址为 https://github.com/czlwang/PopulationTransformer.

关键词

Population Transformer 神经记录自监督学习时间嵌入神经解码多通道内侧电位表示学习神经科学

引用

@article{arxiv.2406.03044,
  title  = {Population Transformer: Learning Population-level Representations of Neural Activity},
  author = {Geeling Chau and Christopher Wang and Sabera Talukder and Vighnesh Subramaniam and Saraswati Soedarmadji and Yisong Yue and Boris Katz and Andrei Barbu},
  journal= {arXiv preprint arXiv:2406.03044},
  year   = {2025}
}

备注

ICLR 2025, Project page https://glchau.github.io/population-transformer/

Population Transformer：学习神经活动的群体级表示

摘要

关键词

引用

备注

相关论文