M$^3$FinMeeting：一个多语言、多行业和多任务的金融会议理解评测数据集

大语言模型 (LLMs) 的最新突破促成了新基准的开发，以评估其在金融领域的性能。然而，当前的金融基准通常依赖于新闻文章、财报或公告，这使得捕捉金融会议的真实世界动态具有挑战性。为了弥补这一差距，我们提出了一个名为 \texttt{M^3FinMeeting} 的新型基准，这是一个为金融会议理解设计的多语言、多行业和多任务数据集。首先，\texttt{M^3FinMeeting} 支持英语、中文和日语，增强了对不同语言环境中金融讨论的理解。其次，它涵盖了全球行业分类标准 (GICS) 定义的各种行业部门，确保该基准涵盖广泛的金融活动。最后，\texttt{M^3FinMeeting} 包括三项任务：摘要、问答 (QA) 对提取和问答，促进了对理解能力的更现实和全面的评估。使用七种流行 LLM 的实验结果表明，即使是最先进的上下文模型也有很大的改进空间，证明了 \texttt{M^3FinMeeting} 作为评估 LLM 金融会议理解技能基准的有效性。