MedCycle：基于循环一致性的无配对医学报告生成
计算机视觉与模式识别
2024-09-25 v2
摘要
为X光图像生成医学报告 presents a significant challenge，尤其是在缺乏配对图像-报告数据进行训练的无配对场景下。以往方法通常学习图像与报告的联合嵌入空间，要求两者具备特定的标签模式。我们提出一种创新方法，无需一致的标签模式，从而提升数据可访问性并能够利用不兼容的数据集。该方法基于循环一致性映射函数，将图像嵌入转换为报告嵌入，同时结合报告自编码用于医学报告生成。我们的模型和目标函数考虑到图像和报告中细致的局部细节以及整体语义上下文。这种方法有助于学习有效的映射函数，生成连贯的报告。它在无配对胸X线报告生成方面超越了领先的SOTA结果，在语言和临床指标上均取得改进。
引用
@article{arxiv.2403.13444,
title = {MedCycle: Unpaired Medical Report Generation via Cycle-Consistency},
author = {Elad Hirsch and Gefen Dawidowicz and Ayellet Tal},
journal= {arXiv preprint arXiv:2403.13444},
year = {2024}
}