在多模态股票交易量变动预测中引入预训练模型提示
计算与语言
2023-09-12 v1 计算工程、金融与科学
摘要
利用股票相关新闻进行多模态股票交易成交量变动预测是金融领域的基础问题之一。现有从零开始训练模型的多模态工作在对金融新闻建模时面临缺乏通用知识的问题。此外，由于数据集中数据不足，模型能力可能受限于缺乏领域相关知识。为处理该问题，我们提出基于提示的 MUltimodal Stock volumE 预测模型（ProMUSE）来处理文本和时间序列模态。我们使用预训练语言模型以更好理解金融新闻，并采用提示学习方法利用其通用知识能力对文本信息建模。此外，简单融合两种模态可能损害单模态表示。因此，我们提出一种新颖的跨模态对比对齐，同时在融合头之外保留单模态头以缓解该问题。大量实验表明我们提出的 ProMUSE 优于现有基线。综合分析进一步验证了我们的架构相较于潜在变体和学习机制的有效性。
引用
@article{arxiv.2309.05608,
title = {Incorporating Pre-trained Model Prompting in Multimodal Stock Volume Movement Prediction},
author = {Ruibo Chen and Zhiyuan Zhang and Yi Liu and Ruihan Bao and Keiko Harimoto and Xu Sun},
journal= {arXiv preprint arXiv:2309.05608},
year = {2023}
}
备注
9 pages, 3 figures, 7 tables. Accepted by 2023 KDD Workshop on Machine Learning in Finance