Period-LLM：扩展多模态大语言模型的周期性能力
计算机视觉与模式识别
2025-06-02 v1
摘要
周期性或准周期性现象揭示了各种自然过程的内在特征，例如天气模式、运动行为、交通流和生物信号。鉴于这些现象跨越多种模态，多模态大语言模型（MLLMs）的能力为有效捕捉和理解其复杂性质提供了有前景的潜力。然而，由于以下局限性，当前的 MLLMs 在处理周期性任务时面临困难：1）缺乏时间建模；2）短周期与长周期之间的冲突。本文介绍了 Period-LLM，这是一种多模态大语言模型，旨在增强跨各种模态的周期性任务性能，并构建了一个具有不同难度的基准，用于评估大模型的跨模态周期性能力。具体而言，我们采用“由易到难泛化”范式，从相对简单的基于文本的任务开始，逐步过渡到更复杂的视觉和多模态任务，确保模型逐步建立起稳健的周期性推理能力。此外，我们提出了一种“抵抗逻辑遗忘”优化策略，以在语义对齐期间保持周期性推理能力。大量实验证明了所提出的 Period-LLM 在周期性任务上优于现有的 MLLMs。代码可在 https://github.com/keke-nice/Period-LLM 获取。
引用
@article{arxiv.2505.24476,
title = {Period-LLM: Extending the Periodic Capability of Multimodal Large Language Model},
author = {Yuting Zhang and Hao Lu and Qingyong Hu and Yin Wang and Kaishen Yuan and Xin Liu and Kaishun Wu},
journal= {arXiv preprint arXiv:2505.24476},
year = {2025}
}
备注
Accepted by CVPR 2025