深度学习在生成结构化放射学报告中的应用：一种基于 Transformer 的技术
计算与语言
2022-09-27 v1 人工智能
机器学习
摘要
由于临床实践与研究所需的放射学报告以自由文本叙述形式书写并存储，提取相关信息以供进一步分析十分困难。在此情形下，自然语言处理（NLP）技术可助力自动信息提取并将自由文本格式转换为结构化数据。近年来，基于深度学习（DL）的模型已被用于 NLP 实验并取得了有前景的结果。尽管基于人工神经网络（ANN）与卷积神经网络（CNN）的 DL 模型潜力显著，这些模型在落地临床实践时面临若干局限。Transformer 作为另一种新型 DL 架构，已日益被用于改进该过程。因此，在本研究中，我们提出一种基于 transformer 的细粒度命名实体识别（NER）架构用于临床信息提取。我们收集了 88 份自由文本格式的腹盆部超声报告，并基于我们所开发的信息模式对其进行标注。应用文本到文本迁移 Transformer 模型（T5）以及 T5 模型的预训练领域特定适配版本 Scifive 进行微调，以提取实体与关系并将输入转换为结构化格式。本研究中我们基于 transformer 的模型在 ROUGE-1、ROUGE-2、ROUGE-L 与 BLEU 分数分别为 0.816、0.668、0.528 与 0.743 上优于先前应用的如 ANN 与 CNN 模型等方法，同时提供可解释的结构化报告。
引用
@article{arxiv.2209.12177,
title = {Application of Deep Learning in Generating Structured Radiology Reports: A Transformer-Based Technique},
author = {Seyed Ali Reza Moezzi and Abdolrahman Ghaedi and Mojdeh Rahmanian and Seyedeh Zahra Mousavi and Ashkan Sami},
journal= {arXiv preprint arXiv:2209.12177},
year = {2022}
}