心理模拟的神经基础：动态场景上潜在表征的未来预测

人类与动物对物理世界具有丰富而灵活的理解，这使他们能够推断物体与事件的潜在动力学轨迹、合理的未来状态，并借此规划与预期行动的后果。然而，这些计算背后的神经机制尚不清楚。我们结合目标驱动建模方法与密集神经生理数据及高通量人类行为输出，直接切入这一问题。具体而言，我们构建并评估了几类感知-认知网络，用于预测丰富且具有生态相关性的环境的未来状态，范围涵盖具有像素级或物体中心目标的自监督端到端模型，到在纯静态基于图像或动态基于视频的预训练基础模型潜在空间中做未来预测的模型。我们发现这些模型类别在预测多样环境内外神经与行为数据的能力上存在显著分化。特别地，我们发现当前神经响应最好地由这样一类模型预测：它们经训练在其潜在空间中对环境未来状态进行预测，该潜在空间来自以自监督方式优化用于动态场景的预训练基础模型。值得注意的是，在视频基础模型潜在空间中做未来预测的模型——这些基础模型被优化以支持多样的感知运动任务——合理地匹配了我们所能测试的所有环境情境下的人类行为错误模式与神经动力学。总体而言，这些发现表明，灵长类心理模拟的神经机制与行为迄今最一致地体现为：被优化用于在动态、可复用的视觉表征上做未来预测，而这些表征总体上对具身AI（Embodied AI）有用。