ITFormer：构建时间序列与自然语言之间的桥梁，用于大规模多任务数据集的多模态问答
计算与语言
2025-06-26 v1
摘要
时间序列数据在工业监控、医疗诊断和气候研究等众多应用中至关重要。然而，有效地将这些高维时序信号与自然语言集成，以实现动态、交互式任务仍是重大挑战。为此，我们提出时间序列问答 (Time-Series QA) 任务，并发布 EngineMT-QA，这是第一个大规模、多任务、时空文本 QA 数据集，旨在捕捉时间序列信号与自然语言之间复杂的相互作用。基于这一资源，我们提出 Instruct Time Transformer (ITFormer)，一种新型框架，将时间序列编码器与冻结的大型语言模型 (LLM) 连接。ITFormer 有效提取、对齐并融合时序与文本特征，在 QA 准确率方面显著优于强大基线，且额外可训练参数不足 1%。通过结合计算效率与稳健的跨模态建模，我们建立了一种将时序数据与自语言集成的可适应范式，为多模态 AI 的新研究与应用铺平了道路。项目详情，包括数据集和代码，均可在 https://pandalin98.github.io/itformer_site/ 查阅。
引用
@article{arxiv.2506.20093,
title = {ITFormer: Bridging Time Series and Natural Language for Multi-Modal QA with Large-Scale Multitask Dataset},
author = {Yilin Wang and Peixuan Lei and Jie Song and Yuzhe Hao and Tao Chen and Yuxuan Zhang and Lei Jia and Yuanxiang Li and Zhongyu Wei},
journal= {arXiv preprint arXiv:2506.20093},
year = {2025}
}