ROBoto2：用于大语言模型辅助临床试验偏倚风险评估的交互式系统与数据集
计算与语言
2025-11-06 v1
摘要
我们提出了ROBOTO2，一个用于大语言模型（LLM）辅助临床试验偏倚风险（ROB）评估的开源、基于Web的平台。ROBOTO2通过一个结合了PDF解析、检索增强的LLM提示和人在回路审查的交互式界面，简化了传统上劳动密集型的ROB v2（ROB2）标注过程。用户可以上传临床试验报告，接收ROB2信号问题的初步答案和支持证据，并对系统建议提供实时反馈或更正。ROBOTO2可在https://roboto2.vercel.app/公开获取，代码和数据也已发布以促进可复现性和采用。我们构建并发布了一个包含521份儿科临床试验报告（8954个信号问题，附带1202个证据段落）的数据集，该数据集使用人工和LLM辅助两种方法进行标注，可作为基准并支持未来研究。利用该数据集，我们对4个LLM的ROB2性能进行了基准测试，并分析了当前模型的能力以及在自动化系统评价这一关键方面持续存在的挑战。
引用
@article{arxiv.2511.03048,
title = {ROBoto2: An Interactive System and Dataset for LLM-assisted Clinical Trial Risk of Bias Assessment},
author = {Anthony Hevia and Sanjana Chintalapati and Veronica Ka Wai Lai and Thanh Tam Nguyen and Wai-Tat Wong and Terry Klassen and Lucy Lu Wang},
journal= {arXiv preprint arXiv:2511.03048},
year = {2025}
}
备注
EMNLP 2025 System Demonstration