HyPCA-Net：医学图像分析中的多模态融合进展
计算机视觉与模式识别
2026-02-19 v1
摘要
多模态融合框架整合了多种医学成像模态（如MRI、CT），在皮肤癌检测、痴呆诊断和脑肿瘤预测等应用中展现出巨大的潜力。然而，现有的多模态融合方法面临两个主要挑战：其次，它们常常依赖计算昂贵的模型，限制了其在资源受限环境中的适用性；其次，它们常常采用级联注意力模块，可能增加信息在模块间转换过程中的损失，阻碍其有效捕获跨模态的稳健共享表征。这限制了其在多疾病分析任务中的泛化能力。为此，我们提出了混合并行-级联注意力网络 (HyPCA-Net)，由两个核心新模块组成：(a) 用于捕获细化模态特定表征的计算高效残差自适应学习注意力模块，和(b) 旨在学习跨不同模态稳健共享表征的双视图级联注意力模块。对十个公开数据集上的大量实验表明，HyPCA-Net显著优于现有领先方法，性能提升最高可达5.2%，计算成本降低最高可达73.1%。代码：https://github.com/misti1203/HyPCA-Net。
引用
@article{arxiv.2602.16245,
title = {HyPCA-Net: Advancing Multimodal Fusion in Medical Image Analysis},
author = {J. Dhar and M. K. Pandey and D. Chakladar and M. Haghighat and A. Alavi and S. Mistry and N. Zaidi},
journal= {arXiv preprint arXiv:2602.16245},
year = {2026}
}
备注
Accepted at the IEEE/CVF Winter Conference on Applications of Computer Vision 2026