用于多模态年龄相关性黄斑变性分类的双流 CNN 学习
计算机视觉与模式识别
2022-05-05 v2 人工智能
摘要
本文解决年龄相关性黄斑变性（AMD）的自动分类问题，该疾病是 50 岁以上人群中的常见黄斑疾病。以往研究主要聚焦于基于单模态输入的 AMD 分类，无论是彩色眼底照相（CFP）还是 OCT B 扫描图像。相比之下，我们考虑给定多模态输入的 AMD 分类，这一方向具有临床意义却鲜有探索。与先前采用无法联合优化的特征提取加分类器训练传统方法不同，我们选用端到端多模态卷积神经网络（MM-CNN）。我们的 MM-CNN 由双流 CNN 实例化，通过空间不变融合来组合来自 CFP 与 OCT 流的信息。为直观解释各模态对最终预测的贡献，我们将类激活映射（CAM）技术扩展至多模态场景。为有效训练 MM-CNN，我们开发了两种数据增强方法。其一为基于 GAN 的 CFP/OCT 图像合成，其中我们将 CAM 作为高分辨率图像到图像翻译 GAN 的条件输入加以新颖使用。另一方法为松散配对（Loose Pairing），其依据类别而非眼别将 CFP 图像与 OCT 图像配对。在由 1,093 只不同眼睛采集的 1,094 张 CFP 图像与 1,289 张 OCT 图像组成的临床数据集上的实验表明，所提方案在多模态 AMD 分类上取得了优于多种基线的 F1 与准确率。代码与数据见 https://github.com/li-xirong/mmc-amd。
引用
@article{arxiv.2012.01879,
title = {Learning Two-Stream CNN for Multi-Modal Age-related Macular Degeneration Categorization},
author = {Weisen Wang and Xirong Li and Zhiyan Xu and Weihong Yu and Jianchun Zhao and Dayong Ding and Youxin Chen},
journal= {arXiv preprint arXiv:2012.01879},
year = {2022}
}
备注
Accepted by IEEE Journal of Biomedical and Health Informatics (J-BHI)