通过渐进困难负样本学习实现放射学报告自动生成

自动放射学报告生成具有挑战性，因为由于解剖结构的共同内容，医学图像或报告通常彼此相似。这使得模型难以捕捉个体图像的独特性，并容易产生不期望的通用或不匹配报告。这种情况要求学习更具判别性的特征，以捕捉图像与报告之间甚至细粒度的不匹配。为此，本文提出一种新颖框架，通过将其与最接近的同类（即困难负样本）区分开来学习判别性图像和报告特征。特别地，为获得更具判别性的特征，我们在训练过程中分别在特征空间中对每幅图像逐步提升此类学习任务的难度，创建渐进困难的负样本报告。通过将渐进困难负样本视为辅助变量，我们将该过程表述为一个极小极大交替优化问题。在每次迭代中，给定一组困难负样本报告，图像和报告特征通过最小化与报告生成相关的损失函数照常学习。之后，通过最大化反映图像-报告对齐的损失来创建一组新的更困难负样本报告。通过求解该优化，我们获得一个能够生成更具体且准确报告的模型。值得注意的是，我们的框架在不引入额外网络权重的情况下增强了判别性特征学习。此外，与现有的困难负样本生成方式相比，我们的框架通过在训练集之外生成更困难样本，超越了数据集的粒度。在基准数据集上的实验研究验证了框架的有效性，并表明它可作为插件 readily 改进现有的医学报告生成模型。