BeDiscovER：面向推理语言模型的论述理解基准
计算与语言
2026-01-27 v2
摘要
我们介绍 BeDiscovER（Benchmark of Discourse Understanding in the Era of Reasoning Language Models），一个最新、全面的套件，用于评估现代大语言模型（LLM）的论述水平知识。BeDiscovER 汇集了 5 个公开的论述任务，涵盖论述词汇、（多）句子和文档层面，总计 52 个独立数据集。它覆盖了广为人知的任务，如论述解析和时间关系抽取，也涵盖了一些新挑战，如论述词汇消歧（例如“just”），并聚合了一个关于论述关系解析和树库的共享任务，涉及多语言和多框架的论述关系分类。我们在 BeDiscovER 上评估了开源 LLM：Qwen3 系列、DeepSeek-R1 以及前沿模型如 GPT-5-mini，发现领先模型在时间推理的算术方面表现出色，但在完整文档推理以及一些细微语义和论述现象（如修辞关系识别）方面仍感到挑战。
引用
@article{arxiv.2511.13095,
title = {BeDiscovER: The Benchmark of Discourse Understanding in the Era of Reasoning Language Models},
author = {Chuyuan Li and Giuseppe Carenini},
journal= {arXiv preprint arXiv:2511.13095},
year = {2026}
}
备注
Camera-ready version of eacl 2026