EvasionBench：用于检测财报电话会议问答中管理层回避行为的大规模基准
机器学习
2026-02-05 v2 计算与语言
摘要
我们提出了 EvasionBench，这是一个用于检测公司财报电话会议问答环节中回避性回复的综合基准。我们从 S&P Capital IQ 记录中提取了 2270 万个问答对，构建了一个经过严格筛选的数据集，并引入了三级回避分类法：直接、中间和完全回避。我们的标注流水线采用了多模型共识（MMC）框架，结合双前沿 LLM 标注与针对模糊情况的三评判者多数投票机制，在人工标注者间达到了 0.835 的 Cohen's Kappa。我们发布：(1) 一个平衡的 84K 训练集，(2) 一个带有专家人工标签的 1K 黄金标准评估集，以及 (3) [Eva-4B]，一个从 Qwen3-4B 微调而来的 40 亿参数分类器，其实现了 84.9% 的 Macro-F1，优于 Claude 4.5、GPT-5.2 和 Gemini 3 Flash。我们的消融研究证明了多模型共识标注相对于单模型标注的有效性。EvasionBench 填补了金融 NLP 中的一个关键空白，提供了首个专门针对管理层沟通回避的大规模基准。
引用
@article{arxiv.2601.09142,
title = {EvasionBench: A Large-Scale Benchmark for Detecting Managerial Evasion in Earnings Call Q&A},
author = {Shijian Ma and Yan Lin and Yi Yang},
journal= {arXiv preprint arXiv:2601.09142},
year = {2026}
}
备注
Major revision. Title and abstract updated to better reflect the refined results. Shijian Ma and Yan Lin contributed equally. Corresponding author: Yan Lin; Project page: https://iiiiqiiii.github.io/EvasionBench/