RoBIn：一个基于Transformer的机器阅读理解偏倚风险推断模型
计算与语言
2024-10-30 v1
摘要
目的：科学出版物在揭示见解、测试新药和制定医疗政策方面发挥着关键作用。评估出版物的质量需要评价其偏倚风险（Risk of Bias, RoB），这一过程通常由人工审阅者完成。在本研究中，我们引入了一个用于机器阅读理解和RoB评估的新数据集，并提出了RoBIn（Risk of Bias Inference），一个旨在自动化此类评估的创新模型。该模型采用双任务方法，从给定上下文中提取证据，并基于收集到的证据评估RoB。方法：我们使用来自Cochrane系统评价数据库（CDSR）的数据作为金标准，为来自PubMed的开放获取临床试验出版物进行标注。这一过程使我们能够开发专门用于机器阅读理解和RoB推断的训练和测试数据集。此外，我们创建了基于提取式（RoBInExt）和生成式（RoBInGen）的Transformer方法，以有效提取相关证据并对RoB进行分类。结果：RoBIn在多种设置下进行了评估，并与最先进的RoB推断方法（包括多种场景下的大型语言模型）进行了基准测试。在大多数情况下，表现最佳的RoBIn变体超越了传统的机器学习和基于LLM的方法，达到了0.83的ROC AUC。结论：基于从临床试验报告中提取的证据，RoBIn执行二分类，以判断该试验是处于低RoB还是高/不明确RoB。我们发现，RoBInGen和RoBInExt均表现稳健，并在许多设置中取得了最佳结果。
引用
@article{arxiv.2410.21495,
title = {RoBIn: A Transformer-Based Model For Risk Of Bias Inference With Machine Reading Comprehension},
author = {Abel Corrêa Dias and Viviane Pereira Moreira and João Luiz Dihl Comba},
journal= {arXiv preprint arXiv:2410.21495},
year = {2024}
}