HyMNet：融合眼底照相与心脏代谢风险因子的高血压分类多模态深度学习系统
图像与视频处理
2024-03-26 v2 计算机视觉与模式识别
机器学习
摘要
近年来，深度学习在从眼底图像预测高血压（HTN）方面展现出潜力。然而，多数既往研究主要聚焦于单一类型数据分析，可能无法捕捉 HTN 风险的全部复杂性。为克服此局限，本研究引入一种多模态深度学习（MMDL）系统，称为 HyMNet，其结合眼底图像与心脏代谢风险因子（具体为年龄与性别）以提升高血压检测能力。我们的 MMDL 系统使用在 160 万张视网膜图像上预训练的基础模型 RETFound 处理眼底路径，并使用全连接神经网络处理年龄与性别路径。两条路径通过拼接各自路径的特征向量并送入融合网络进行联合训练。系统训练所用数据来自沙特国民卫队卫生事务部收集的 1,243 名个体的 5,016 张视网膜图像。结果显示，整合眼底图像及年龄性别的多模态模型优于仅基于眼底照片训练的单模态系统，其高血压检测的 F1 分数分别为 0.771 [0.747, 0.796] 与 0.745 [0.719, 0.772]。此外，我们研究了潜在糖尿病对模型预测能力的影响，结论为糖尿病被用作区分高血压病例的混杂变量。我们的代码与模型权重公开于 https://github.com/MohammedSB/HyMNet。
引用
@article{arxiv.2310.01099,
title = {HyMNet: a Multimodal Deep Learning System for Hypertension Classification using Fundus Photographs and Cardiometabolic Risk Factors},
author = {Mohammed Baharoon and Hessa Almatar and Reema Alduhayan and Tariq Aldebasi and Badr Alahmadi and Yahya Bokhari and Mohammed Alawad and Ahmed Almazroa and Abdulrhman Aljouie},
journal= {arXiv preprint arXiv:2310.01099},
year = {2024}
}