基于 LLM 从货币政策会议电话会议中提取的模态自适应知识增强图金融预测
计算工程、金融与科学
2024-04-23 v4
摘要
从货币政策会议电话会议中进行金融预测是一项新颖且具挑战性的任务，旨在通过分析包括文本、视频和音频在内的多模态信息，预测特定金融资产的价格走势和波动性。尽管现有工作使用跨模态 Transformer 模块取得了巨大成功，但它忽略了潜在的外部金融知识、不同模态对金融预测的不同贡献，以及不同金融资产之间的内在关联。为了解决这些局限性，我们提出了一种新颖的模态自适应知识增强图金融预测方案，命名为 MANAGER。具体而言，MANAGER 借助 FinDKG 获取输入文本的外部相关知识。同时，MANAGER 分别采用 BEiT-3 和 Hidden-unit BERT (HuBERT) 提取视频和音频特征。随后，MANAGER 引入了一种新颖的知识增强跨模态图，以 ChatGLM2 为骨干网络，充分刻画文本、外部知识、视频和音频之间的语义关系，从而自适应地利用不同模态中的信息。在公开数据集 Monopoly 上的大量实验验证了我们的模型相对于前沿方法的优越性。
引用
@article{arxiv.2403.16055,
title = {Modal-adaptive Knowledge-enhanced Graph-based Financial Prediction from Monetary Policy Conference Calls with LLM},
author = {Kun Ouyang and Yi Liu and Shicheng Li and Ruihan Bao and Keiko Harimoto and Xu Sun},
journal= {arXiv preprint arXiv:2403.16055},
year = {2024}
}
备注
Accepted by LREC Coling 2024 -FinNLP (oral)