MultiRetNet：用于糖尿病视网膜病变分期的多模态视觉模型与推迁系统
计算机视觉与模式识别
2025-07-22 v1
摘要
糖尿病视网膜病变（DR）是全球范围内导致不可逆失明的主要原因之一，影响超过1000万人。在美国，来自低收入社区的患者面临着在诊断前进展至晚期阶段的更高风险，主要由于获取筛查资源有限。合并疾病状况会进一步加速疾病进程。我们提出MultiRetNet，一种新型管道整合视网膜成像、社会经济因素和合并症概况，以提高DR分期准确性，集成临床推迁系统以实现临床人类在环实现。我们实验了三种多模态融合方法，确定通过全连接层进行的融合最为通用。我们合成对抗性、低质量图像，并使用对比学习训练推迁系统，引导模型识别分布外样本以 warrant 临床医生审查。通过维持对次优图像的诊断准确性并整合关键健康数据，该系统可提高早期检测效果，尤其是在资源匮乏地区，晚期DR往往首要被识别。这种方法可能降低医疗成本，提高早期检测率，解决医疗保健获取不平等问题，促进医疗公平。
引用
@article{arxiv.2507.14738,
title = {MultiRetNet: A Multimodal Vision Model and Deferral System for Staging Diabetic Retinopathy},
author = {Jeannie She and Katie Spivakovsky},
journal= {arXiv preprint arXiv:2507.14738},
year = {2025}
}