临床 NLP 中的断言检测：超越否定检测的全面方法
计算与语言
2025-03-25 v1 信息检索
机器学习
摘要
断言状态检测是临床 NLP 中的关键且常被忽视的组成部分，对于准确归因提取的医疗事实至关重要。过去的研究仅聚焦于否定检测，导致 AWS Medical Comprehend、Azure AI Text Analytics 和 GPT-4o 等商业解决方案表现不佳。为填补这一空白，我们开发了一系列最先进的断言检测模型，包括微调的大语言模型、基于 Transformer 的分类器、少样本分类器和深度学习方法。我们对比评估了这些模型与云端商业 API 解决方案、经典规则方法 NegEx 以及 GPT-4o。我们的微调 LLM 取得最高的总体准确率（0.962），显著优于 GPT-4o（0.901）和商业 API，在 Present（提升 4.2%）、Absent（提升 8.4%）和 Hypothetical（提升 23.4%）断言方面表现尤为突出。我们的深度学习模型在 Conditional（提升 5.3%）和 Associated-with-Someone-Else（提升 10.1%）类别中超越商业解决方案，而少样本分类器提供了一个轻量且高度竞争的备选方案（0.929），适用于资源受限的环境。集成至 Spark NLP 后，我们的模型始终优于黑盒商业解决方案，实现可扩展推理并无缝集成医学命名实体识别、关系抽取和术语解析。这进一步强调了在临床 NLP 中采用领域适配、透明且可定制的解决方案的重要性，而非通用大语言模型或专有 API。
引用
@article{arxiv.2503.17425,
title = {Beyond Negation Detection: Comprehensive Assertion Detection Models for Clinical NLP},
author = {Veysel Kocaman and Yigit Gul and M. Aytug Kaya and Hasham Ul Haq and Mehmet Butgul and Cabir Celik and David Talby},
journal= {arXiv preprint arXiv:2503.17425},
year = {2025}
}
备注
accepted at Text2Story Workshop at ECIR 2025