见林亦见木：用 transformers 构建个体与群体动态的统一表征

复杂时变系统通常通过对个体组分动态进行抽象，从一开始就建立群体层面动态的模型来研究。然而，在构建群体层面描述时，容易忽视每个个体及其对整体图景的贡献。本文提出一种新颖的 transformer 架构，用于从时变数据中学习，同时构建个体与群体人口动态的表征。我们的模型并非一开始就将所有数据并入，而是开发了一种可分离架构，先作用于个体时间序列再向前传递；这带来了置换不变性性质，并可用于跨不同规模与阶数的系统迁移。在证明我们的模型可成功恢复多体系统中的复杂相互作用与动态后，我们将该方法应用于神经系统中的神经元群体。在神经活动数据集上，我们展示模型不仅产生鲁棒的解码性能，还在无任何神经元级对应关系的跨不同动物记录迁移中表现优异。通过实现可迁移至不同规模与阶数神经记录的灵活预训练，我们的工作为创建神经解码基础模型提供了第一步。