用于眼底病灶分级与诊断的不完整模态解缝表示
计算机视觉与模式识别
2025-02-18 v1
摘要
眼科医生通常需要多种数据源来提高临床决策中的诊断准确性。然而，由于医疗设备不足、数据质量低以及数据隐私 concerns，实际场景中常见缺失的数据模态。现有深度学习方法倾向于通过学习不同模态组合的隐式潜在子空间表示来解决此问题。我们识别出这些方法存在两个显著局限性：（1）隐式表示受限限制了模型捕获模态特定信息的能力；（2）模态异构性导致特征表示之间存在分布差距和冗余。为此，我们提出了不完整模态解缝表示（Incomplete Modality Disentangled Representation, IMDR）策略，通过互信息引导将特征解缝分为显式的独立的模态-公共特征和模态-特定特征，提炼有价值的知识，使其能够重建有价值的缺失语义并产生稳健的多模态表示。此外，我们引入了联合代理学习模块，以利用从每个类别中提取的代理信息，帮助IMDR消除模态内部的冗余。在四个眼底多模态数据集上的实验表明，所提出的IMDR显著优于现有最先进的方法。
引用
@article{arxiv.2502.11724,
title = {Incomplete Modality Disentangled Representation for Ophthalmic Disease Grading and Diagnosis},
author = {Chengzhi Liu and Zile Huang and Zhe Chen and Feilong Tang and Yu Tian and Zhongxing Xu and Zihong Luo and Yalin Zheng and Yanda Meng},
journal= {arXiv preprint arXiv:2502.11724},
year = {2025}
}
备注
7 Pages, 6 figures