用于多模态 AMD 分类的松散配对训练双流 CNN
图像与视频处理
2019-07-30 v1 计算机视觉与模式识别
摘要
本文研究给定多模态输入（包含某只眼睛的彩色眼底图像与光学相干断层扫描（OCT）图像）的老年性黄斑变性（AMD）自动分类。已有工作采用传统方法，由特征提取与分类器训练组成，无法联合优化。相比之下，我们提出一种端到端的双流卷积神经网络（CNN）。该 CNN 的融合层专为融合眼底与 OCT 两流信息的需要而设计。为生成更多多模态训练样本，我们引入松散配对（Loose Pair）训练，其中眼底图像与 OCT 图像依据类别标签而非眼睛进行配对。此外，为直观解释各模态如何做出贡献，我们将类激活映射技术扩展至多模态场景。在门诊诊所收集的真实世界数据集上的实验证明了我们的多模态 AMD 分类方案的可行性。
引用
@article{arxiv.1907.12023,
title = {Two-Stream CNN with Loose Pair Training for Multi-modal AMD Categorization},
author = {Weisen Wang and Zhiyan Xu and Weihong Yu and Jianchun Zhao and Jingyuan Yang and Feng He and Zhikun Yang and Di Chen and Dayong Ding and Youxin Chen and Xirong Li},
journal= {arXiv preprint arXiv:1907.12023},
year = {2019}
}
备注
accepted by MICCAI 2019