面向肺病变分类的小病灶感知双模态多尺度融合网络
计算机视觉与模式识别
2025-08-07 v1
摘要
医学疾病诊断面临诊漏小病灶等挑战。深度学习，特别是多模态方法，在医学疾病诊断领域显示出巨大的潜力。然而，医学影像与电子健康记录数据之间维度差异为有效对齐和融合带来了挑战。为此，我们提出了多模态多尺度交叉注意力融合网络（MMCAF-Net）。该模型采用特征金字塔结构结合高效 3D 多尺度卷积注意力模块，从 3D 医学图像中提取病灶特定特征。为进一步增强多模态数据集成，MMCAF-Net 融合了多尺度交叉注意力模块，解决维度不一致问题，实现更有效的特征融合。我们在 Lung-PET-CT-Dx 数据集上评估了 MMCAF-Net，结果显示诊断准确率显著提升，超越了当前的最先进方法。代码已提供：https://github.com/yjx1234/MMCAF-Net。
引用
@article{arxiv.2508.04205,
title = {Small Lesions-aware Bidirectional Multimodal Multiscale Fusion Network for Lung Disease Classification},
author = {Jianxun Yu and Ruiquan Ge and Zhipeng Wang and Cheng Yang and Chenyu Lin and Xianjun Fu and Jikui Liu and Ahmed Elazab and Changmiao Wang},
journal= {arXiv preprint arXiv:2508.04205},
year = {2025}
}