LIMITR：利用局部信息的医学图像-文本表示
计算机视觉与模式识别
2023-03-22 v1
摘要
医学影像分析在各种医疗条件的诊断与治疗中起着关键作用。本文关注胸部 X 光图像及其对应的放射学报告，提出一种学习 X 光图像与报告联合表示的新模型。该模型基于一种视觉数据与文本间的新颖对齐方案，其同时考虑局部与全局信息。此外，模型整合了两类领域特定信息——侧位图像与胸部图像一致的视觉结构。我们的表示被证明有益于三类检索任务：文本-图像检索、基于类别的检索以及短语定位。
引用
@article{arxiv.2303.11755,
title = {LIMITR: Leveraging Local Information for Medical Image-Text Representation},
author = {Gefen Dawidowicz and Elad Hirsch and Ayellet Tal},
journal= {arXiv preprint arXiv:2303.11755},
year = {2023}
}