中文

基于多尺度注意力中多频率的模态无关域泛化医学图像分割

图像与视频处理 2024-05-13 v1 计算机视觉与模式识别 机器学习

摘要

深度神经网络的泛化能力在医学图像分割中起着关键作用。然而,基于深度学习的医学图像分析往往忽视了频率变化的重要性,而频率变化是实现模态无关和域泛化模型的关键要素。此外,各种模型未能考虑到深度监督下多任务学习可能引起的信息丢失,这一因素会损害模型的表示能力。为解决这些挑战,我们提出了一种用于医学图像分割的模态无关域泛化网络(MADGNet),该网络包含两个关键组件:多尺度注意力中的多频率(MFMSA)模块和集成子解码模块(E-SDM)。MFMSA 模块通过融合多频率和多尺度特征,改进了空间特征提取过程,特别是在捕获边界特征方面,从而为组织轮廓和解剖结构提供信息线索。此外,我们提出了 E-SDM,以减轻深度监督下多任务学习中的信息丢失,尤其是在从低分辨率进行大幅上采样时。我们在六种模态和十五个数据集上评估了 MADGNet 的分割性能。通过大量实验,我们证明 MADGNet 在各种模态下始终优于最先进的模型,展现出卓越的分割性能。这证实了 MADGNet 是一种在多样化成像场景中表现出色的医学图像分割鲁棒解决方案。我们的 MADGNet 代码可在 GitHub 链接获取。

关键词

引用

@article{arxiv.2405.06284,
  title  = {Modality-agnostic Domain Generalizable Medical Image Segmentation by Multi-Frequency in Multi-Scale Attention},
  author = {Ju-Hyeon Nam and Nur Suriza Syazwany and Su Jung Kim and Sang-Chul Lee},
  journal= {arXiv preprint arXiv:2405.06284},
  year   = {2024}
}

备注

Accepted in Computer Vision and Pattern Recognition (CVPR) 2024