RPNT：稳健预训练神经变换器——面向通用运动解码的路径
机器学习
2026-04-03 v2 信号处理
摘要
脑运动解码旨在解释并将神经活动翻译为行为。解码模型应能够在不同脑区、不同实验session、不同行为类型以及不同受试者之间的变异中实现泛化，这将是实际应用的关键。当前解码模型仅部分满足这些挑战。在本工作中，我们开发了一种预训练神经变换器模型RPNT（Robust Pretrained Neural Transformer），通过预训练实现稳健的泛化，从而为下游运动解码任务提供有效的微调能力。我们通过系统性地检验哪些变换器构建模块适用于神经脉冲活动建模，由于来自其他模态（如文本和图像）的模型组件无法直接转移到神经数据，因此得出了RPNT架构。最终的RPNT架构包含三个独特的启用组件：1）多维旋转位置嵌入，用于聚合实验元数据（如位置坐标、session ID 和行为类型）；2）基于卷积核在全局注意力上的上下文注意力机制，用于学习局部时间结构，以处理神经群体活动的非平稳性；3）具备随机因果掩码策略和对比表示的稳健自监督学习目标。我们在两个具有显著泛化挑战的数据集上预训练了两个版本的RPNT：a) 多session、多task、多受试者的微电极基准数据集；b) 使用来自多个皮层位置的高密度 Neuropixel 1.0 探针的多site 记录。预训练后，我们在跨session、跨类型、跨受试者和跨site 的下游行为解码任务上评估了RPNT。我们的RPNT在这些任务中一致优于现有的解码模型。
引用
@article{arxiv.2601.17641,
title = {RPNT: Robust Pre-trained Neural Transformer -- A Pathway for Generalized Motor Decoding},
author = {Hao Fang and Ryan A. Canfield and Tomohiro Ouchi and Beatrice Macagno and Eli Shlizerman and Amy L. Orsborn},
journal= {arXiv preprint arXiv:2601.17641},
year = {2026}
}