MvCo-DoT：面向医学报告生成的多视图对比域迁移网络
计算机视觉与模式识别
2023-04-18 v1
摘要
在临床场景中，通常同时生成具有不同视图的多幅医学图像，它们具有高度的语义一致性。然而，现有的医学报告生成方法无法利用医学图像丰富的多视图互信息。因此，在本工作中，我们提出了首个多视图医学报告生成模型，称为 MvCo-DoT。具体而言，MvCo-DoT 首先提出一种多视图对比学习（MvCo）策略，以帮助基于深度强化学习的模型利用多视图输入的一致性实现更好的模型学习。然后，为缩小使用多视图与单视图输入的性能差距，进一步提出一种域迁移网络，确保 MvCo-DoT 仅使用单视图输入即可达到与使用多视图输入几乎相同的性能。在 IU X-Ray 公开数据集上的大量实验表明，MvCo-DoT 在所有指标上均优于 SOTA 医学报告生成基线方法。
引用
@article{arxiv.2304.07465,
title = {MvCo-DoT:Multi-View Contrastive Domain Transfer Network for Medical Report Generation},
author = {Ruizhi Wang and Xiangtao Wang and Zhenghua Xu and Wenting Xu and Junyang Chen and Thomas Lukasiewicz},
journal= {arXiv preprint arXiv:2304.07465},
year = {2023}
}
备注
Received by the ICASSP2023