放射学报告摘要中的引导:实证评估与错误分析
计算与语言
2023-07-25 v1
摘要
自动将放射学报告摘要为简洁的印象部分可减轻临床医生的手工负担并提高报告的一致性。先前工作旨在通过引导式生成摘要来增强内容选择与事实性。然而,两个关键问题依然存在。首先,当前方法严重依赖领域特定资源来提取引导信号,限制了其向缺乏这些资源的领域与语言的迁移能力。其次,尽管诸如 ROUGE 的自动指标显示出进展,我们仍缺乏对任务中错误与失败模式的良好理解。为弥合这些差距,我们首先提出一种以变长抽取式摘要形式存在的领域无关引导信号。我们在两个英文基准上的实证结果表明,该引导信号优于无引导摘要,同时与领域特定方法具有竞争力。此外,我们依据包含 11 类细粒度错误的分类体系对四个系统进行了专家评估。我们发现自动摘要与放射科医生摘要之间最紧迫的差异涉及内容选择,包括遗漏(高达 52%)与添加(高达 57%)。我们推测潜在的报告因素与语料级不一致性可能限制模型从可用数据中可靠学习内容选择,这为未来工作指明了有前景的方向。
引用
@article{arxiv.2307.12803,
title = {Guidance in Radiology Report Summarization: An Empirical Evaluation and Error Analysis},
author = {Jan Trienes and Paul Youssef and Jörg Schlötterer and Christin Seifert},
journal= {arXiv preprint arXiv:2307.12803},
year = {2023}
}
备注
Accepted at INLG2023