互补信息互学习用于多模态医学图像分割

由于医学成像的局限性和肿瘤信号的多样性，放射科医生必须利用多种模态图像进行肿瘤分割和诊断。这导致了分割中多模态学习的发展。然而，模态间的冗余给现有的基于减法的联合学习方法带来了挑战，例如误判模态重要性、忽略特定模态信息以及增加认知负荷。这些棘手的问题最终会降低分割精度并增加过拟合风险。本文提出了互补信息互学习（CIML）框架，该框架能够数学建模并解决模态间冗余信息的负面影响。CIML采用加法的思想，通过归纳偏置驱动的任务分解和基于消息传递的冗余过滤来去除模态间的冗余信息。CIML首先基于专家先验知识将多模态分割任务分解为多个子任务，最小化模态间的信息依赖。此外，CIML引入了一种方案，其中每个模态可以通过消息传递从其他模态中加法地提取信息。为了实现提取信息的非冗余性，受变分信息瓶颈启发，将冗余过滤转化为互补信息学习。互补信息学习过程可以通过变分推理和跨模态空间注意力高效求解。来自验证任务和标准基准的数值结果表明，CIML有效去除了模态间的冗余信息，在验证精度和分割效果方面优于最先进的方法。