X-TRA：利用跨模态检索增强改进胸部X光任务
计算机视觉与模式识别
2023-02-23 v1
摘要
人类分析医学图像及其语境的一个重要能力，是将新见到的内容与记忆中相关实例联系起来的能力。本文中我们模仿这一能力，采用多模态检索增强并将其应用于胸部X光分析的若干任务。通过检索相似图像和/或放射学报告，我们在保持事实知识一致性的同时，利用额外知识扩展并正则化当前病例。该方法由两个部分组成。首先，使用预训练的CLIP模型对齐视觉与语言模态。为使检索聚焦于详细的疾病相关内容而非全局视觉外观，我们利用疾病类别信息对其进行了微调。随后，我们构建了一个非参数检索索引，其检索水平达到state-of-the-art。我们在下游任务中使用该索引，通过多头注意力增强图像表示，用于疾病分类与报告检索。我们表明检索增强在这些任务上带来了显著提升。我们的下游报告检索甚至显示出与专用报告生成方法相竞争的能力，为该方法在医学影像中的运用铺平了道路。
引用
@article{arxiv.2302.11352,
title = {X-TRA: Improving Chest X-ray Tasks with Cross-Modal Retrieval Augmentation},
author = {Tom van Sonsbeek and Marcel Worring},
journal= {arXiv preprint arXiv:2302.11352},
year = {2023}
}
备注
IPMI 2023