FinCall-Surprise：面向赚取惊喜预测的大规模多模态基准数据集
多媒体
2025-10-07 v1
摘要
预测公司业绩惊喜是一项可盈利却充满挑战的任务，因为精准的预测可为重大投资决策提供信息。然而，当前该领域的进展受限于依赖昂贵、专有的、仅包含文本数据，限制了先进模型的开发。为此，我们引入了\textbf{FinCall-Surprise}（Financial Conference Call for Earning Surprise Prediction，即业绩惊喜预测的财务会议调用），该数据集是首个大规模、开源、多模态的业绩惊喜预测数据集。数据集包含2688个来自2019至2021年的独特企业会议记录，特点在于包含逐字逐句的会议文本记录、完整的音频录音以及对应的演示文稿。我们通过评估26种最新单模态和多模态大语言模型，建立了全面的基准测试。我们的发现表明：(1)虽然许多模型实现了高准确率，但这种表现常因现实数据中的显著类别不平衡而产生误导。(2)一些专门的金融模型在指令遵循和语言生成方面表现出意料之外的弱点。(3)虽然融合音频和视觉模态提供了一些性能提升，但当前模型仍难有效利用这些信号。这些结果揭示了现有大语言模型在金融推理能力方面的关键局限，为未来研究设定了具有挑战性的新基准。
引用
@article{arxiv.2510.03965,
title = {FinCall-Surprise: A Large Scale Multi-modal Benchmark for Earning Surprise Prediction},
author = {Dong Shu and Yanguang Liu and Huopu Zhang and Mengnan Du},
journal= {arXiv preprint arXiv:2510.03965},
year = {2025}
}