PIPE: 面向卫星图像和时间序列的物理信息位置编码
机器学习
2025-06-19 v1 人工智能
计算机视觉与模式识别
摘要
多模态时间序列预测是诸多领域的基础任务，例如利用卫星图像和数值数据预测气象学中的台风。然而，现有多模态方法主要关注利用文本数据辅助时间序列预测，未能充分利用现有时间序列数据集中的视觉信息。此外，模型难以有效捕捉卫星图像所蕴含的物理信息，如其时空语境，这些信息超越了图像本身。为此，本文提出物理信息位置编码（Physics-Informed Positional Encoding, PIPE），一种轻量级方法，将物理信息嵌入视觉语言模型（Vision Language Models, VLM）中。PIPE的两大创新点：(1) 基于物理的positional indexing方案，将物理量映射到位置ID；(2) 变频率位置编码机制，用于编码物理变量的频率信息以及token在嵌入空间中的序列顺序。通过保留物理信息和序列顺序信息，PIPE显著提升了多模态对齐效果和预测精度。在最具代表性且规模最大的公开卫星图像数据集上进行实验，PIPE在深度学习预测和气象学方法中均实现了状态-of-the-art性能，包括在台风强度预测方面相较于先前工作提升了12%。本文的源码已包含在补充材料中。
引用
@article{arxiv.2506.14786,
title = {PIPE: Physics-Informed Position Encoding for Alignment of Satellite Images and Time Series},
author = {Haobo Li and Eunseo Jung and Zixin Chen and Zhaowei Wang and Yueya Wang and Huamin Qu and Alexis Kai Hon Lau},
journal= {arXiv preprint arXiv:2506.14786},
year = {2025}
}