跨眼底Transformer用于多模态糖尿病视网膜病变分级与白内障
图像与视频处理
2024-11-04 v1 人工智能
计算机视觉与模式识别
摘要
糖尿病视网膜病变（DR）是全球导致失明的主要原因之一，也是糖尿病的常见并发症。作为 DR 分级的两种不同成像工具，彩色眼底照相（CFP）和红外眼底照相（IFP）在临床应用中高度相关且互补。据我们所知，这是第一项探索新颖的多模态深度学习框架以融合 CFP 和 IFP 信息来实现更准确 DR 分级的研究。具体而言，我们构建了一个双流架构跨眼底Transformer（CFT）来融合两种眼底图像模态的 ViT 基础特征。特别地，精心设计的跨眼底注意力（CFA）模块被引入以捕捉 CFP 和 IFP 图像之间的对应关系。此外，我们采用了单模态和多模态监督以最大化 DR 分级的整体性能。在由 1,713 对多模态眼底图像组成的临床数据集上的大量实验证明了我们所提出方法的优越性。我们的代码将公开发布。
引用
@article{arxiv.2411.00726,
title = {Cross-Fundus Transformer for Multi-modal Diabetic Retinopathy Grading with Cataract},
author = {Fan Xiao and Junlin Hou and Ruiwei Zhao and Rui Feng and Haidong Zou and Lina Lu and Yi Xu and Juzhao Zhang},
journal= {arXiv preprint arXiv:2411.00726},
year = {2024}
}
备注
10 pages, 4 figures