面向金融时间序列预测的模态感知 Transformer
机器学习
2024-03-22 v2
摘要
时间序列预测是一项重大挑战,尤其当其准确性依赖外部数据源而非仅历史值时。此问题在金融领域十分普遍,其中时间序列的未来行为常与各类文本报告及众多经济指标衍生的信息紧密关联。实践中,关键挑战在于构建可靠的时序预测模型,能够利用多源数据并提取有价值洞察以准确预测目标时间序列。本工作中,我们解决这一挑战性问题并引入一种基于多模态 Transformer 的新型模型,名为 \textit{Modality-aware Transformer}。我们的模型擅长挖掘类别文本与数值时间序列的能力,有效预测目标时间序列,并通过其神经注意力机制提供洞察。为此,我们开发了特征级注意力层,促使模型关注各数据模态内最相关特征。通过融入所提特征级注意力,我们构建了新颖的模态内多头注意力(MHA)、模态间 MHA 与目标模态 MHA,使特征与 temporal 注意力均被纳入 MHA 中。这使 MHA 能在考虑模态与特征重要性的前提下生成时间注意力,从而产生信息更丰富的嵌入。所提模态感知结构使模型能有效利用各模态内信息并促进跨模态理解。我们在金融数据集上的大量实验表明,Modality-aware Transformer 优于现有方法,为多模态金融时间序列预测的复杂挑战提供了新颖且实用的解决方案。
引用
@article{arxiv.2310.01232,
title = {Modality-aware Transformer for Financial Time series Forecasting},
author = {Hajar Emami and Xuan-Hong Dang and Yousaf Shah and Petros Zerfos},
journal= {arXiv preprint arXiv:2310.01232},
year = {2024}
}