TiBiX：利用时间信息进行双向X光片和报告生成
计算机视觉与模式识别
2024-03-21 v1
摘要
随着视觉语言模型在医学影像领域的兴起，大量研究聚焦于两个主要研究活动：（1）从胸腔X光片（Chest X-ray, CXR）生成报告，和（2）从文本或报告生成合成扫描图像。尽管一些研究将多视角CXR纳入生成过程，但以往的患者扫描和报告通常被忽略。这可能会导致重要医学信息的遗漏，从而影响生成质量。为此，我们提出TiBiX：利用时间信息进行双向X光片和报告生成。在考虑之前的扫描之后，我们的方法实现了双向生成，主要解决两个具有挑战性的问题：（1）根据之前的扫描和当前报告生成当前图像，和（2）基于之前和当前的扫描生成当前报告。此外，我们提取并发布了一个从MIMIC-CXR数据集中派生的精选时间基准数据集，专注于时间数据。我们的全面实验和消融研究探讨了整合先前CXR的优势，并在报告生成任务上实现了最先进（SOTA）的结果。更重要的是，我们达到了与SOTA图像生成持平的性能，从而在纵向向双向CXR-to-report生成中成为新的基线。代码已公开于https://github.com/BioMedIA-MBZUAI/TiBiX。
引用
@article{arxiv.2403.13343,
title = {TiBiX: Leveraging Temporal Information for Bidirectional X-ray and Report Generation},
author = {Santosh Sanjeev and Fadillah Adamsyah Maani and Arsen Abzhanov and Vijay Ram Papineni and Ibrahim Almakky and Bartłomiej W. Papież and Mohammad Yaqub},
journal= {arXiv preprint arXiv:2403.13343},
year = {2024}
}