用于病灶定位的多模态自监督学习
计算机视觉与模式识别
2024-08-21 v3
摘要
利用影像和诊断报告的多模态深度学习在医学影像诊断领域取得了令人瞩目的进展，在缺乏足够标注信息的情况下展现出特别强大的辅助诊断能力。然而，在没有详细位置标注的情况下准确定位疾病仍然是一个挑战。尽管现有方法尝试利用局部信息实现细粒度语义对齐，但它们提取文本报告中全面上下文的细粒度语义的能力有限。为解决这一问题，本文引入了一种新方法，将文本报告中的完整句子作为局部语义对齐的基本单元。该方法结合胸部X光图像及其对应的文本报告，在全局和局部层面进行对比学习。该方法在多个数据集上取得的领先结果证实了其在病灶定位任务中的有效性。
引用
@article{arxiv.2401.01524,
title = {Multimodal self-supervised learning for lesion localization},
author = {Hao Yang and Hong-Yu Zhou and Cheng Li and Weijian Huang and Jiarun Liu and Yong Liang and Guangming Shi and Hairong Zheng and Qiegen Liu and Shanshan Wang},
journal= {arXiv preprint arXiv:2401.01524},
year = {2024}
}