衡量生物医学报告偏风险的RoBBR基准
计算与语言
2025-09-23 v2
摘要
正在不断增多地用于通过审阅科学文献来回答问题的系统。为了得出可靠的结论，这些系统应考虑不同研究中可用证据的质量，为使用有效方法的研究提供更大的权重。我们提出了一个用于衡量生物医学论文方法学强度的基准，基于用于系统综述的风险-偏差框架。该基准源自超过500项生物医学研究，包含三个基准任务，涵盖专家审阅者对研究方法的判断，包括对这些研究中风险偏差的评估。该基准包含人类验证的注释管道，用于细粒度地将审阅者的判断与研究论文句子对齐。我们的分析表明，大型语言模型的推理和检索能力对其在风险偏差评估中的有效性产生影响。该数据集可在 https://github.com/RoBBR-Benchmark/RoBBR 上获得。
引用
@article{arxiv.2411.18831,
title = {Measuring Risk of Bias in Biomedical Reports: The RoBBR Benchmark},
author = {Jianyou Wang and Weili Cao and Longtian Bao and Youze Zheng and Gil Pasternak and Kaicheng Wang and Xiaoyue Wang and Ramamohan Paturi and Leon Bergen},
journal= {arXiv preprint arXiv:2411.18831},
year = {2025}
}
备注
Published at EMNLP 2025 (Main)