通过利用多模态数据进行自监督特征学习以实现视网膜疾病诊断
计算机视觉与模式识别
2020-07-23 v1
摘要
从眼底图像对各种视网膜疾病进行自动诊断对于支持临床决策十分重要。然而，由于需要大量人工标注数据，开发此类自动解决方案具有挑战性。近来，无监督/自监督特征学习技术受到广泛关注，因为它们不需要海量标注。当前大多数自监督方法基于单一成像模态进行分析，且目前尚无方法利用多模态图像以获得更好结果。考虑到各种玻璃体视网膜疾病的诊断可极大受益于另一成像模态（例如 FFA），本文提出一种新颖的自监督特征学习方法，通过有效利用多模态数据来进行视网膜疾病诊断。为此，我们首先合成对应的 FFA 模态，然后构建一个基于患者特征的 softmax 嵌入目标。我们的目标同时学习模态不变（modality-invariant）特征与患者相似性特征。通过该机制，神经网络捕捉到跨不同模态的语义共享信息以及患者之间明显的视觉相似性。我们在两个公开的视网膜疾病诊断基准数据集上评估了我们的方法。实验结果表明，我们的方法明显优于其他自监督特征学习方法，并与有监督基线相当。
引用
@article{arxiv.2007.11067,
title = {Self-supervised Feature Learning via Exploiting Multi-modal Data for Retinal Disease Diagnosis},
author = {Xiaomeng Li and Mengyu Jia and Md Tauhidul Islam and Lequan Yu and Lei Xing},
journal= {arXiv preprint arXiv:2007.11067},
year = {2020}
}
备注
IEEE Transactions on Medical Imaging, code is at https://github.com/xmengli999/self_supervised