深度学习和放射学报告的抽象摘要生成：基于稀缺数据适配PEGASUS模型族的实证研究
计算与语言
2025-09-22 v1 人工智能
机器学习
摘要
尽管人工智能发展迅速，但在医学等敏感且数据受限的领域，抽象摘要生成仍然具有挑战性。随着成像数量的增加，复杂医学文本摘要自动化工具的相关性预计将变得高度重要。在本文中，我们研究了通过微调过程适配非领域特定的抽象摘要生成编码器-解码器模型族，并为从业者提供了如何避免过拟合和欠拟合的见解。我们使用PEGASUS和PEGASUS-X，在一个中等规模的放射学报告公开数据集上进行实验。针对每个模型，我们全面评估了训练数据规模不同的两个检查点。我们在固定大小的验证集上通过词汇和语义指标监控了模型在训练过程中的性能。PEGASUS表现出不同的阶段，这可能与逐epoch的双下降或峰值-下降-恢复行为有关。对于PEGASUS-X，我们发现使用更大的检查点会导致性能下降。这项工作揭示了在使用稀缺训练数据微调高表达能力模型时面临的挑战和风险，并为未来在专业领域中为摘要模型探索更鲁棒的微调策略奠定了基础。
引用
@article{arxiv.2509.15419,
title = {Deep learning and abstractive summarisation for radiological reports: an empirical study for adapting the PEGASUS models' family with scarce data},
author = {Claudio Benzoni and Martina Langhals and Martin Boeker and Luise Modersohn and Máté E. Maros},
journal= {arXiv preprint arXiv:2509.15419},
year = {2025}
}
备注
14 pages, 4 figures, and 3 tables