PhiNets：基于时间预测假说的脑启发非对比学习

预测编码是一种理论，假设皮层在不同抽象层次上预测感觉输入以最小化预测误差。受预测编码启发，Chen等人(2024)提出了另一种理论，时间预测假说，声称海马体中的序列记忆是通过从过去的感觉输入预测输入信号而出现的。具体来说，他们假设海马体中的CA3预测器在输入信号之间创建了突触延迟，由随后的CA1预测器补偿。尽管基于时间预测假说复制了记录的神经活动，但其有效性尚未得到充分探索。在这项工作中，我们旨在从自监督学习的角度探索时间预测假说。具体来说，我们关注非对比学习，它生成输入图像的两个增强视图，并从一个预测另一个。非对比学习与时间预测假说密切相关，因为突触延迟是由StopGradient隐式创建的。基于流行的非对比学习器SimSiam，我们提出了PhiNet，它是SimSiam的扩展，具有分别对应于CA3和CA1的两个预测器。通过研究PhiNet模型，我们发现了两个发现。首先，有意义的数据表示在PhiNet中比在SimSiam中更稳定地出现。这最初由我们的学习动态分析支持：PhiNet对表示崩溃更鲁棒。其次，PhiNet在在线和持续学习场景中更快地适应新出现的模式。对于实践者，我们还提出了一个扩展，称为X-PhiNet，集成了动量编码器，在持续学习中表现出色。总而言之，我们的工作揭示了时间预测假说在鲁棒性和适应性方面是一个合理的模型。