通过放射学报告生成改进医学视觉表示
计算机视觉与模式识别
2025-01-13 v2
摘要
视觉-语言预训练已被证明能够产生高质量的视觉编码器，并可高效迁移至下游计算机视觉任务。对比学习方法已日益被用于医学视觉-语言预训练（MVLP），但生成式AI的最新进展提供了全新的建模替代方案。本文介绍RadTex，一种为放射学优化的CNN编码器-Transformer解码器架构。我们探索双向描述生成作为一种替代的MVLP策略，并证明RadTex的描述生成预训练与成熟的对比方法具有竞争力，取得了89.4%的CheXpert宏-AUC。此外，RadTex轻量级的文本解码器不仅生成临床相关的放射学报告（宏-F1分数0.349），还提供有针对性的交互式响应，凸显了双向描述生成在推动医学图像分析中的效用。
引用
@article{arxiv.2310.19635,
title = {Improving Medical Visual Representations via Radiology Report Generation},
author = {Keegan Quigley and Miriam Cha and Josh Barua and Geeticka Chauhan and Seth Berkowitz and Steven Horng and Polina Golland},
journal= {arXiv preprint arXiv:2310.19635},
year = {2025}
}