DART：面向可靠放射诊断报告的疾病感知图像-文本对齐与自纠正重新对齐

放射诊断报告的自动生成已成为减少耗时任务并准确捕获X射线图像中关键疾病相关发现的有前景的方案。以往的放射诊断报告生成方法表现令人印象深刻，但仍存在显著提升准确性的潜力——即确保检索到的报告包含与X射线图像中发现的疾病相关信息相似的内容，并对生成报告进行细化。在本研究中，我们提出面向可靠放射诊断报告生成的疾病感知图像-文本对齐与自纠正重新对齐框架（DART）。在第一个阶段，我们基于图像到文本检索生成初始报告，通过对比学习将图像和文本嵌入共享的嵌入空间，以确保检索到的报告包含与输入X射线图像高度对齐的疾病相关发现。在第二个阶段，我们引入自纠正模块，对初始报告进行重新对齐以进一步提升。我们提出的框架在两个广泛使用的基准数据集上实现了最先进的效果，在报告生成和临床有效性指标方面均超越了先前方法，从而提升了放射诊断报告的可信度。