从医学图像与报告中联合学习局部化表示
计算机视觉与模式识别
2023-03-08 v2 计算与语言
机器学习
图像与视频处理
摘要
对比学习已被证明可有效地在无标签数据上预训练图像模型，并在医学图像分类等任务上取得了有前景的结果。在预训练期间使用配对的文本（如放射学报告）可进一步改善结果。然而，大多数现有方法针对图像分类下游任务，可能并非针对语义分割或目标检测等局部化任务的最优选择。因此我们提出从视觉与文本学习局部化表示（LoVT），据我们所知，这是首个面向局部化医学成像任务的文本监督预训练方法。我们的方法将实例级图像-报告对比学习与图像区域和报告句子表示的局部对比学习相结合。我们在一个由来自五个公开数据集的胸部X射线构成的18项局部化任务评估框架上评估了LoVT与常用预训练方法。LoVT在18项研究任务中的10项上表现最佳，使其成为局部化任务的首选方法。
引用
@article{arxiv.2112.02889,
title = {Joint Learning of Localized Representations from Medical Images and Reports},
author = {Philip Müller and Georgios Kaissis and Congyu Zou and Daniel Rueckert},
journal= {arXiv preprint arXiv:2112.02889},
year = {2023}
}
备注
Accepted at ECCV 2022