DMAF-Net：用于不完备多模态医学图像分割的有效模态再平衡框架
计算机视觉与模式识别
2025-06-16 v1
摘要
不完备多模态医学图像分割面临来自模态不平衡的关键挑战，包括不平衡的模态缺失率和异质性的模态贡献。由于依赖理想化的完整模态可用性假设，现有方法无法动态平衡贡献，且忽视了模态之间的结构关系，导致在实际临床场景中的性能不佳。为解决这些局限性，我们提出了一种新型模型——动态模态感知融合网络（DMAF-Net）。DMAF-Net 采用了三个关键思路。第一，它引入了一个动态模态感知融合（DMAF）模块，通过 Transformer 注意力与自适应掩码相结合，并利用注意力图动态加权模态贡献，从而抑制缺失模态干扰。第二，它设计了一个协同的关系蒸馏与原型蒸馏框架，通过协方差一致性强制执行全局-局部特征对齐，同时通过跨模态类别特定原型对齐确保语义一致性。第三，它提出了一种动态训练监控（DTM）策略，通过实时跟踪蒸馏差距来稳定不平衡缺失率下的优化，并通过自适应重加权损失和缩放梯度来平衡各模态的收敛速度。在 BraTS2020 和 MyoPS2020 上的广泛实验表明，DMAF-Net 在不完备多模态医学图像分割方面优于现有方法。我们的代码可在 https://github.com/violet-42/DMAF-Net 获取。
引用
@article{arxiv.2506.11691,
title = {DMAF-Net: An Effective Modality Rebalancing Framework for Incomplete Multi-Modal Medical Image Segmentation},
author = {Libin Lan and Hongxing Li and Zunhui Xia and Yudong Zhang},
journal= {arXiv preprint arXiv:2506.11691},
year = {2025}
}
备注
12 pages, 4 figures, 3 tables