星图时序影像的时空感知多模态模型变分贝叶斯信道估计与数据检测
计算机视觉与模式识别
2026-02-11 v3 人工智能
摘要
时间变化描述（TCD）和未来星图影像预测（FSIF）是星图影像时序（SITS）分析中的关键任务，却长期以来分离。两者都根本受限于建模长程时间动态的共同挑战。为探索如何通过增强长程时间理解能力来提升方法在两项任务上的性能，我们引入 **TAMMs**——首个统一框架旨在单一 MLLM-扩散架构中联合完成 TCD 与 FSIF。TAMMs 引入两个关键创新：时空适应模块（**TAM**）增强冻结 MLLM 理解长程动态的能力，语义融合控制注入（**SFCI**）机制将这种变化理解转化为细粒度的生成控制。这种协同设计使 TCD 任务的理解直接信息化并提升 FSIF 任务的一致性。大量实验表明，TAMMs 在两项任务上均显著优于最先进的专家基线。我们的数据集可在 https://huggingface.co/datasets/IceInPot/TAMMs 获取。
引用
@article{arxiv.2506.18862,
title = {TAMMs: Change Understanding and Forecasting in Satellite Image Time Series with Temporal-Aware Multimodal Models},
author = {Zhongbin Guo and Yuhao Wang and Ping Jian and Chengzhi Li and Xinyue Chen and Zhen Yang and Ertai E},
journal= {arXiv preprint arXiv:2506.18862},
year = {2026}
}
备注
Published as a conference paper at The Fourteenth International Conference on Learning Representations (ICLR 2026)