多模态预测器：联合预测时间序列与文本数据

当前的预测方法在很大程度上是单模态的，由于缺乏精心整理的多模态基准数据集，往往忽略了通常伴随时间序列的丰富文本数据。在这项工作中，我们开发了TimeText语料库（TTC），一个精心整理的、与时间对齐的文本和时间数据集，用于多模态预测。我们的数据集由与时间戳对齐的数字和文本序列组成，涵盖两个不同领域：气候科学和医疗保健。我们的数据是对现有稀有多模态数据集的重要补充。我们还提出了混合多模态预测器（Hybrid-MMF），一种使用共享嵌入联合预测文本和时间序列数据的多模态大语言模型。然而，与我们的预期相反，我们的Hybrid-MMF模型在实验中并未超越现有基线。这一负面结果凸显了多模态预测中固有的挑战。我们的代码和数据可在 https://github.com/Rose-STL-Lab/Multimodal_ Forecasting 获取。