基于无监督引导的跨模态特征对齐的超声报告生成
计算机视觉与模式识别
2024-06-04 v1
摘要
自动报告生成已成为计算机辅助诊断中的一个重要研究领域，旨在通过根据医学图像自动生成报告来减轻临床医生的负担。在这项工作中，我们提出了一种新颖的自动超声报告生成框架，利用无监督和监督学习方法的组合来辅助报告生成过程。我们的框架结合了无监督学习方法，从超声文本报告中提取潜在知识，作为先验信息引导模型对齐视觉和文本特征，从而解决特征差异的挑战。此外，我们设计了一种全局语义比较机制，以增强生成更全面和准确医学报告的性能。为了实现超声报告生成，我们构建了来自不同器官的三个大规模超声图像-文本数据集，用于训练和验证。与其它最先进方法的广泛评估表明，该方法在所有三个数据集上均表现出优越的性能。代码和数据集可在此链接获取。
引用
@article{arxiv.2406.00644,
title = {Ultrasound Report Generation with Cross-Modality Feature Alignment via Unsupervised Guidance},
author = {Jun Li and Tongkun Su and Baoliang Zhao and Faqin Lv and Qiong Wang and Nassir Navab and Ying Hu and Zhongliang Jiang},
journal= {arXiv preprint arXiv:2406.00644},
year = {2024}
}