多模态、多任务、多注意力（M3）深度学习检测网状假性玻璃膜疣：迈向年龄相关性黄斑变性的自动化与可及性分类
计算机视觉与模式识别
2020-11-12 v2 人工智能
机器学习
图像与视频处理
摘要
目的 网状假性玻璃膜疣（RPD）是年龄相关性黄斑变性（AMD）的关键特征，人类专家在标准彩色眼底照相（CFP）上难以检出，通常需眼底自发荧光（FAF）等先进成像方式。本研究旨在开发并评估一种新颖的“M3”深度学习框架在 RPD 检测中的性能。材料与方法 我们开发了深度学习框架 M3，仅使用 CFP、仅使用 FAF 或两者并用，以准确检测 RPD 存在与否，采用了前瞻性收集的逾 8000 对 CFP-FAF 图像（年龄相关性眼病研究 2）。M3 框架包含多模态（基于单种或多种图像模态的检测）、多任务（同时训练不同任务以提升泛化性）和多注意力（改进集成特征表示）操作。将 RPD 检测性能与最先进（SOTA）深度学习模型及 13 名眼科医生比较；并评估了对另两种 AMD 特征（地图状萎缩和色素异常）的检测性能。结果 对于 RPD 检测，M3 在仅 CFP、仅 FAF 及两者并用下的受试者工作特征曲线下面积（AUROC）分别为 0.832、0.931 和 0.933。M3 在 CFP 上的性能远优于人类视网膜专家（中位 F1 分数 0.644 对 0.350）。外部验证（荷兰鹿特丹研究）显示仅用 CFP 即达高准确度（AUROC 0.965）。M3 框架亦准确检测地图状萎缩和色素异常（AUROC 分别为 0.909 和 0.912），证明其泛化性。结论 本研究展示了一个新颖深度学习框架的成功开发、稳健评估与外部验证，该框架可实现可及、准确且自动化的 AMD 诊断与预后。
引用
@article{arxiv.2011.05142,
title = {Multi-modal, multi-task, multi-attention (M3) deep learning detection of reticular pseudodrusen: towards automated and accessible classification of age-related macular degeneration},
author = {Qingyu Chen and Tiarnan D. L. Keenan and Alexis Allot and Yifan Peng and Elvira Agrón and Amitha Domalpally and Caroline C. W. Klaver and Daniel T. Luttikhuizen and Marcus H. Colyer and Catherine A. Cukras and Henry E. Wiley and M. Teresa Magone and Chantal Cousineau-Krieger and Wai T. Wong and Yingying Zhu and Emily Y. Chew and Zhiyong Lu},
journal= {arXiv preprint arXiv:2011.05142},
year = {2020}
}
备注
5 figures and 4 tables, To appear in Journal of the American Medical Informatics Association