文本反转与自监督精炼用于放射学报告生成

现有的主流方法遵循编码器-解码器范式来生成放射学报告。它们侧重于改进编码器和解码器的网络结构，这导致了两个缺点：忽视模态差距和忽略报告内容约束。在本文中，我们提出了文本反转与自监督精炼（TISR）来解决上述两个问题。具体来说，文本反转通过将图像表示为伪词来将文本和图像投影到同一空间，从而消除跨模态差距。随后，自监督精炼通过图像和文本之间的对比损失计算来精炼这些伪词，增强了生成报告对图像的保真度。值得注意的是，TISR与大多数现有方法是正交的，即插即用。我们在两个广泛使用的公共数据集上进行了实验，并在各种基线上取得了显著改进，这证明了TISR的有效性和泛化能力。代码将很快公开。