MedRAT：基于辅助任务的无配对医学报告生成
计算机视觉与模式识别
2024-07-23 v2
摘要
从 X 射线图像生成医学报告是一个具有挑战性的任务，尤其是在没有配对图像-报告数据用于训练的无配对场景下。为解决这一挑战，我们提出了一种新型模型，利用两个不同数据集中的可用信息：一个数据集包含报告，另一个数据集包含图像。我们模型的核心思想是，结合报告生成的自动编码与多模态（报告-图像）对齐，能够提供解决方案。然而，由于缺乏配对对应关系，如何实现这种对齐仍然是一个挑战。我们的解决方案是采用辅助任务，特别是对比学习和分类，来将相关图像和报告置于彼此相邻的位置。这一方法不同于以往依赖预处理步骤（如使用存储在知识图谱中的外部信息）的方法。我们提出的模型名为 MedRAT，超过了以往的最新方法，表明了在无需配对数据或外部工具的情况下生成全面医学报告的可行性。
引用
@article{arxiv.2407.03919,
title = {MedRAT: Unpaired Medical Report Generation via Auxiliary Tasks},
author = {Elad Hirsch and Gefen Dawidowicz and Ayellet Tal},
journal= {arXiv preprint arXiv:2407.03919},
year = {2024}
}