基于草图的医学图像检索
计算机视觉与模式识别
2023-03-08 v1
摘要
医院中存储的医学图像数量正以空前速度增长；然而，对累积医学图像的利用一直受限。这是因为现有的基于内容的医学图像检索（CBMIR）系统通常需要用示例图像来构建查询向量；但示例图像并非总可准备。此外，可能存在具有罕见特征而难以找到相似示例图像的图像，我们称之为孤立样本。在此，我们引入一种新颖的基于草图的医学图像检索（SBMIR）系统，使用户无需示例图像即可找到感兴趣的图像。其关键思想在于医学图像的特征分解，即医学图像的整体特征可被分解为正常与异常特征并可由其重建。扩展该思想，我们的 SBMIR 系统提供了一种易用的两步图形用户界面：用户首先选择模板图像以指定正常特征，然后在模板图像上绘制疾病的语义草图以表示异常特征。随后，它整合两类输入构建查询向量，并检索具有最接近参考向量的参考图像。使用两个数据集，十名具有不同临床背景的医护人员参与了用户测试评估。结果表明，我们的 SBMIR 系统使用户克服了以往挑战，包括基于细粒度图像特征的图像检索、无示例图像的图像检索，以及孤立样本的图像检索。我们的 SBMIR 系统实现了按需的灵活医学图像检索，从而拓展了医学图像数据库的效用。
引用
@article{arxiv.2303.03633,
title = {Sketch-based Medical Image Retrieval},
author = {Kazuma Kobayashi and Lin Gu and Ryuichiro Hataya and Takaaki Mizuno and Mototaka Miyake and Hirokazu Watanabe and Masamichi Takahashi and Yasuyuki Takamizawa and Yukihiro Yoshida and Satoshi Nakamura and Nobuji Kouno and Amina Bolatkan and Yusuke Kurose and Tatsuya Harada and Ryuji Hamamoto},
journal= {arXiv preprint arXiv:2303.03633},
year = {2023}
}