FinMMR：使金融数值推理更具多模态性、全面性和挑战性
计算机视觉与模式识别
2025-08-07 v1 计算工程、金融与科学
摘要
我们提出了 FinMMR，一个新的双语多模态基准，旨在评估多模态大语言模型(MLLMs)在金融数值推理任务中的推理能力。与现有基准相比，我们的工作引入了三个重要进展。(1) 多模态性：我们仔细转换现有的金融推理基准，构建新的问题来自最新中文金融研究报告。FinMMR 包含 4.3K 个问题和 8.7K 张图片，涵盖 14 个类别，包括表格、柱状图和所有权结构图。(2) 全面性：FinMMR 涵盖 14 个金融子领域，包括公司金融、银行和行业分析，显著超过现有基准在金融领域知识广度。(3) 挑战性：模型需要通过整合金融知识与对复杂金融图像和文本的理解来执行多步骤精确数值推理。最佳-performing MLLM 在 Hard 问题上仅 achieves 53.0% 的准确率。我们相信 FinMMR 将推动增强 MLLM 在现实场景中推理能力的发展。
引用
@article{arxiv.2508.04625,
title = {FinMMR: Make Financial Numerical Reasoning More Multimodal, Comprehensive, and Challenging},
author = {Zichen Tang and Haihong E and Jiacheng Liu and Zhongjun Yang and Rongjin Li and Zihua Rong and Haoyang He and Zhuodi Hao and Xinyang Hu and Kun Ji and Ziyan Ma and Mengyuan Ji and Jun Zhang and Chenghao Ma and Qianhe Zheng and Yang Liu and Yiling Huang and Xinyi Hu and Qing Huang and Zijian Xie and Shiyao Peng},
journal= {arXiv preprint arXiv:2508.04625},
year = {2025}
}
备注
Accepted by ICCV 2025. arXiv admin note: text overlap with arXiv:2311.06602 by other authors