基于互注意力的混合维度网络用于多模态影像计算机辅助诊断
计算机视觉与模式识别
2022-01-25 v1 图像与视频处理
摘要
近期关于多模态三维计算机辅助诊断的研究表明，当三维卷积神经网络（CNN）带来更多参数且医学图像稀缺时，获得具有竞争力的自动诊断模型仍然困难且具有挑战性。考虑到多模态图像中感兴趣区域的一致性与诊断准确性，我们提出了一种新颖的基于互注意力的混合维度网络用于多模态三维医学图像分类（MMNet）。该混合维度网络将 2D CNN 与 3D 卷积模块集成，以生成更深且信息更丰富的特征图，并降低三维融合的训练复杂度。此外，ImageNet 的预训练模型可用于 2D CNN，从而提升模型性能。立体注意力侧重于在三维医学图像中建立该区域丰富的上下文相互依赖关系。为提高多模态医学图像中病理组织的区域相关性，我们进一步在网络中设计了一种互注意力框架，以在不同图像模态的相似立体区域中建立区域级一致性，从而以隐式方式指导网络关注病理组织。MMNet 优于许多先前方案，并在三个多模态成像数据集（即腮腺肿瘤（PGT）数据集、MRNet 数据集和 PROSTATEx 数据集）上取得了与最先进方法相竞争的结果，其优势通过大量实验得到验证。
引用
@article{arxiv.2201.09421,
title = {Mutual Attention-based Hybrid Dimensional Network for Multimodal Imaging Computer-aided Diagnosis},
author = {Yin Dai and Yifan Gao and Fayu Liu and Jun Fu},
journal= {arXiv preprint arXiv:2201.09421},
year = {2022}
}
备注
11 pages, 8 figures