基于Transformer的自然语言处理方法从超声报告中提取甲状腺结节特征
计算与语言
2023-04-04 v1
摘要
甲状腺结节的超声特征指导着对甲状腺结节患者的甲状腺癌评估。然而，甲状腺结节的特征通常记录在超声报告等临床叙述中。以往的研究考察了基于规则的自然语言处理(NLP)系统提取有限数量(<9)特征的方法。在本研究中，由NLP专家和甲状腺专科医生组成的多学科团队确定了临床诊疗中重要的甲状腺结节特征，编写了标注指南，构建了语料库，并比较了5种最先进的基于Transformer的NLP方法（包括BERT、RoBERTa、LongFormer、DeBERTa和GatorTron），用于从超声报告中提取甲状腺结节特征。我们的GatorTron模型是一个使用超过900亿词文本训练的基于Transformer的大语言模型，在提取共16项甲状腺结节特征上取得了最佳的严格和宽松F1分数，分别为0.8851和0.9495，在将特征关联到结节上取得了0.9321的F1分数，优于其他临床Transformer模型。据我们所知，这是首项系统性分类并应用基于Transformer的NLP模型从超声报告中提取大量临床相关甲状腺结节特征的研究。本研究为利用电子健康记录评估甲状腺超声报告的文档质量及考察甲状腺结节患者结局奠定了基础。
引用
@article{arxiv.2304.00115,
title = {Extracting Thyroid Nodules Characteristics from Ultrasound Reports Using Transformer-based Natural Language Processing Methods},
author = {Aman Pathak and Zehao Yu and Daniel Paredes and Elio Paul Monsour and Andrea Ortiz Rocha and Juan P. Brito and Naykky Singh Ospina and Yonghui Wu},
journal= {arXiv preprint arXiv:2304.00115},
year = {2023}
}