上下文表示在临床试验结果短语检测中的评估
计算与语言
2022-03-15 v2 机器学习
摘要
利用机器学习自动识别临床试验中报告的结果，在加速获取医疗决策所需证据方面具有巨大潜力。然而，先前的研究已认识到训练语料不足是结果检测（OD）任务的一个挑战。此外，诸如 BERT 和 ELMO 等若干上下文表示在检测各种疾病、基因、蛋白质和化学物质方面取得了空前的成功，但对于结果却不能明确得出同样结论，因为这些模型在 OD 任务上相对缺乏测试和深入研究。我们引入了“EBM-COMET”，一个由专家对 300 篇 PubMed 摘要进行临床结果标注的数据集。与先前使用任意结果分类的相关数据集不同，我们使用近期发布的用于标准化结果分类的分类法中的标签。为抽取结果，我们对多种预训练上下文表示进行微调，此外，在我们定制的神经模型中使用冻结的上下文和上下文无关表示，并辅以临床感知的词性嵌入和代价敏感损失函数。我们对训练模型采用严格评估，仅当正确识别完整结果短语而非实体内词语时才给予奖励，即给定结果“systolic blood pressure”，仅当模型按顺序预测出全部 3 个词时才获得分类分数，否则不得分。我们观察到最佳模型（BioBERT）取得了 81.5% F1、81.3% 灵敏度和 98.0% 特异度。我们就哪些上下文表示最适合从临床试验摘要中检测结果达成共识。此外，我们的最佳模型超越了 EBM-NLP 原始数据集排行榜上公布的分数。
引用
@article{arxiv.2203.03547,
title = {Assessment of contextualised representations in detecting outcome phrases in clinical trials},
author = {Micheal Abaho and Danushka Bollegala and Paula R Williamson and Susanna Dodd},
journal= {arXiv preprint arXiv:2203.03547},
year = {2022}
}