基于引力信息的时空 Transformer 用于人类活动强度预测

人类活动强度预测是许多位置服务的关键任务。尽管在建模人类活动动态方面取得了显著进展，但大多数现有方法忽略了空间相互作用的物理约束，导致不可解释的空间相关性和过平滑现象。为此，本工作提出了一种基于物理规律的深度学习框架，称为重力信息时空 Transformer(Gravityformer)，通过将万有定律纳入注意力机制来细化 Transformer。具体而言，它(1)基于时空嵌入特征估计两个空间显式质量参数，(2)使用提出的自适应引力模型在神经网络中对空间相互作用进行建模，以学习物理约束，(3)利用所学习的空间相互作用来指导并缓解 Transformer 注意力中的过平滑现象。此外，还提出了一个并行的时空图卷积 Transformer，用于实现耦合的空间和时间学习的平衡。在六个真实世界大规模活动数据集上的系统实验表明，我们的模型在定量和定性方面优于最先进的基准。此外，所学习的引力注意力矩阵可以基于地理学规律进行解耦和解释，同时提高在零样本跨区域推断中的泛化能力。这一工作为将物理规律与深度学习集成用于时空预测提供了新的见解。