通过因果启发的反事实增强重新思考放射学报告生成

放射学报告生成（RRG）作为生物医学领域的视觉与语言交互任务而受到关注。以往工作继承了传统语言生成任务的理念，旨在生成具有高可读性的段落作为报告。尽管取得了显著进展，但疾病之间的独立性——RRG 的一项特有属性——被忽视了，导致模型被有偏数据分布带来的疾病共现所混淆，从而生成不准确的报告。在本文中，为重新思考此问题，我们首先从因果视角对变量间的因果效应进行建模，借此证明有偏分布上疾病间的共现关系充当了混杂因子，通过两条后门路径（即联合视觉耦合与条件序列耦合）混淆了准确性。随后，我们提出了一种新颖的模型无关反事实增强方法，包含两种策略，即基于原型的反事实样本合成（P-CSS）与魔方式反事实报告重构（Cube），以干预后门路径，从而提升 RRG 模型的准确性与泛化能力。在广泛使用的 MIMIC-CXR 数据集上的实验结果证明了我们所提方法的有效性。此外，在 IU X-Ray 数据集上评估了泛化性能，验证了我们的工作能有效降低不同分布导致的共现对结果的影响。