CSTRL：用于抽象式放射学报告摘要的上下文驱动序列迁移学习
计算与语言
2025-10-01 v2 人工智能
机器学习
摘要
放射学报告由多个部分组成，包括诊断的 Findings 和 Impression。从 Findings 自动生成 Impression 对于减轻放射科医生的工作量和提高诊断准确性至关重要。在通用抽象式摘要问题上表现优异的预训练模型在应用于专业医疗领域时遇到挑战，这主要是由于复杂的术语和准确临床语境的必要性。医疗领域的此类任务要求提取核心信息、避免上下文偏移并保持适当的连贯性。误用医学术语可能导致严重的临床错误。为了解决这些问题，我们引入了一种序列迁移学习方法，以确保关键内容提取和连贯摘要。序列迁移学习通常面临初始参数衰减和知识丢失等挑战，我们通过 Fisher 矩阵正则化解决了这些问题。使用 MIMIC-CXR 和 Open-I 数据集，我们的模型 CSTRL(Context-driven Sequential TRansfer Learning)取得了最先进的性能，与基准研究相比，在 BLEU-1 上提升了 56.2%，在 BLEU-2 上提升了 40.5%，在 BLEU-3 上提升了 84.3%，在 ROUGE-1 上提升了 28.9%，在 ROUGE-2 上提升了 41.0%，在 ROUGE-3 上提升了 26.5%。我们还在保留医学语境的同时分析了事实一致性分数。我们的代码已在 https://github.com/fahmidahossain/Report_Summarization 上公开。
引用
@article{arxiv.2503.05750,
title = {CSTRL: Context-Driven Sequential Transfer Learning for Abstractive Radiology Report Summarization},
author = {Mst. Fahmida Sultana Naznin and Adnan Ibney Faruq and Mostafa Rifat Tazwar and Md Jobayer and Md. Mehedi Hasan Shawon and Md Rakibul Hasan},
journal= {arXiv preprint arXiv:2503.05750},
year = {2025}
}
备注
Accepted in ACL 2025 Findings