基于深度度量学习的胸片图像检索系统及其在 COVID-19 中的临床应用
图像与视频处理
2021-03-24 v1 计算机视觉与模式识别
摘要
近年来，基于深度学习的图像分析方法已广泛应用于计算机辅助检测、诊断与预后，并在 2019 新型冠状病毒病（COVID-19）大流行的公共卫生危机中展现出价值。胸片（CXR）在美国等地的 COVID-19 患者分诊、诊断和监测中发挥着关键作用。考虑到 CXR 中混杂且非特异性的信号，提供相似图像及关联临床信息的 CXR 图像检索模型，比直接的图像诊断模型更具临床意义。本工作中，我们基于深度度量学习开发了一种新颖的 CXR 图像检索模型。传统诊断模型旨在学习从图像到标签的直接映射，所提模型则旨在学习图像的优化嵌入空间，使具有相同标签和相似内容的图像聚集在一起。其利用多相似度损失与难样本挖掘采样策略及注意力机制来学习优化嵌入空间，并为查询图像提供相似图像。模型在来自 3 个不同来源的国际多中心 COVID-19 数据集上训练和验证。COVID-19 图像检索与诊断任务的实验结果表明，所提模型可作为 COVID-19 的 CXR 分析与患者管理的稳健方案。该模型还在另一临床决策支持任务上测试了可迁移性，即预训练模型应用于新数据集提取图像特征而无需进一步训练。这些结果证明我们基于深度度量学习的图像检索模型在 CXR 检索、诊断和预后中高效，对 COVID-19 患者的治疗与管理具有重要临床价值。
引用
@article{arxiv.2012.03663,
title = {Deep Metric Learning-based Image Retrieval System for Chest Radiograph and its Clinical Applications in COVID-19},
author = {Aoxiao Zhong and Xiang Li and Dufan Wu and Hui Ren and Kyungsang Kim and Younggon Kim and Varun Buch and Nir Neumark and Bernardo Bizzo and Won Young Tak and Soo Young Park and Yu Rim Lee and Min Kyu Kang and Jung Gil Park and Byung Seok Kim and Woo Jin Chung and Ning Guo and Ittai Dayan and Mannudeep K. Kalra and Quanzheng Li},
journal= {arXiv preprint arXiv:2012.03663},
year = {2021}
}
备注
Aoxiao Zhong and Xiang Li contribute equally to this work