探索医生-患者对话摘要中的鲁棒性：关于域外 SOAP 笔记的分析
计算与语言
2024-06-06 v1 机器学习
摘要
对医疗对话进行摘要处理具有独特的挑战，主要由于其专业化的领域以及收集领域内训练数据的困难。本研究探讨了最先进的医生-患者对话生成式摘要模型在域外数据上的性能。我们将医生-患者对话摘要模型分为两种配置：(1) 通用模型，不指定主观(S)、客观(O)、评估(A)和计划(P)笔记；(2) 面向 SOAP 的模型，生成包含 SOAP 章节的摘要。我们分析了基于微调语言模型的方法和 GPTs 在两种配置下的局限性和优势。我们还进行了 Linguistic Inquiry and Word Count 分析，以比较来自不同数据集的 SOAP 笔记。结果显示，不同数据集中参考笔记之间存在强相关性，表明格式不匹配（即词分布差异）不是域外数据性能下降的主要原因。最后，包括对 SOAP 笔记的详细分析，以提供关于模型引入的缺失信息和幻觉的见解。
引用
@article{arxiv.2406.02826,
title = {Exploring Robustness in Doctor-Patient Conversation Summarization: An Analysis of Out-of-Domain SOAP Notes},
author = {Yu-Wen Chen and Julia Hirschberg},
journal= {arXiv preprint arXiv:2406.02826},
year = {2024}
}
备注
Clinical NLP Workshop 2024