SemEnrich：面向视觉语言学习的自监督放射报告语义丰富化
机器学习
2026-04-14 v1
摘要
医学视觉语言数据集常受限于规模，且倾向于报告负性发现，因为临床医生报告异常发现时可能忽略某些正面/中性发现，认为其与患者病情无关。我们提出一种自监督数据丰富方法，利用报告句子的语义聚类进行语义丰富化。随后以自监督方式将来自不同聚类中的正面/中性观察结果添加到训练集中的放射报告中。我们的方法在监督微调中实现了持续的性能提升：分别在 COMET 分数、Bert 分数、Sentence BLEU、CheXbert-F1 和 RadGraph-F1 分数上实现了 5.63%、3.04%、7.40%、5.30%、7.47% 的平均提升。消融研究确认，性能提升源自语义聚类而非随机增强。此外，我们提出一种将语义聚类信息纳入 GRPO 训练奖励设计的方法，进一步带来了性能提升：分别在 COMET 分数、Bert 分数和 Sentence BLEU 分数上实现了 2.78%、3.14%、12.80% 的平均提升。我们在 https://anonymous.4open.science/r/SemEnrich-75CF 分享了代码。
引用
@article{arxiv.2604.09887,
title = {SemEnrich: Self-Supervised Semantic Enrichment of Radiology Reports for Vision-Language Learning},
author = {Halil Ibrahim Gulluk and Olivier Gevaert},
journal= {arXiv preprint arXiv:2604.09887},
year = {2026}
}