跨模态表征知识蒸馏以增强血管电生理建模

局部场电位（LFPs）可在细胞内电生理实验中常规记录，测量更大的互补脑活动的时空尺度，为科学探究提供优势，并且相对于脉冲具有更长期稳定性、对电极退化的鲁棒性以及更低的功耗优势。尽管如此，近期的神经建模框架仍大多关注脉冲活动，因为LFP信号因其聚合、群体水平的本质而面临建模挑战，常导致对下游任务变量（如运动行为）的预测能力较低。为此，我们引入一个跨模态知识蒸馏框架，将来自预训练多会话脉冲变换器模型的高保真表征知识传递给LFP变换器模型。具体而言，我们首先使用基于掩码自动编码目标和会话特定神经分词策略训练教师脉冲模型跨多个记录会话。然后，我们对齐学生LFP模型的潜在表征与教师脉冲模型的表征。我们的结果表明，蒸馏后的LFP模型在完全无监督和监督设置下均一致优于单会话和多会话LFP基线，并且可以在无需额外蒸馏的情况下泛化到其他会话，同时保持卓越的性能。这些发现表明，跨模态知识蒸馏是一种强大且可扩展的方法，可用于利用高性能脉冲模型开发更准确的LFP模型。