融合多模态深度卷积网络特征用于糖尿病视网膜病变严重程度预测
图像与视频处理
2020-06-02 v1 计算机视觉与模式识别
机器学习
摘要
糖尿病视网膜病变（DR）是全球视觉障碍与失明的主要原因之一。它通常出现于长期罹患糖尿病的患者中。本工作的主要焦点是推导视网膜图像的最优表示，以进一步提升 DR 识别模型的性能。为提取最优表示，使用所提多模态融合模块对多个预训练 ConvNet 模型提取的特征进行融合。这些最终表示用于训练一个深度神经网络（DNN），以进行 DR 识别与严重程度分级预测。由于每个 ConvNet 提取不同特征，使用一维池化与交叉池化进行融合比使用单一 ConvNet 提取的特征能得到更好的表示。在基准 Kaggle APTOS 2019 竞赛数据集上的实验研究表明，基于所提融合特征训练的模型优于现有方法。此外，我们注意到，基于 Xception 与 VGG16 特征的交叉平均池化融合最适用于 DR 识别。使用所提模型，我们在 DR 识别上达到 97.41% 的准确率与 94.82 的 kappa 统计量，在严重程度预测上达到 81.7% 的准确率与 71.1% 的 kappa 统计量。另一有趣观察是，与使用单模态深度特征训练的相同模型相比，在输入层带 dropout 的 DNN 使用融合特征训练时收敛更快。
引用
@article{arxiv.2006.00197,
title = {Blended Multi-Modal Deep ConvNet Features for Diabetic Retinopathy Severity Prediction},
author = {J. D. Bodapati and N. Veeranjaneyulu and S. N. Shareef and S. Hakak and M. Bilal and P. K. R. Maddikunta and O. Jo},
journal= {arXiv preprint arXiv:2006.00197},
year = {2020}
}
备注
18 pages, 8 figures, published in Electronics MDPI journal