用于个性化脑肿瘤分割的联邦模态特定编码器与多模态锚点

大多数现有的用于医学图像分析的联邦学习 (FL) 方法仅考虑了模态内异质性，限制了它们在多模态成像应用中的适用性。在实践中，一些 FL 参与者通常只拥有完整成像模态的一个子集，这导致模态间异质性成为在所有参与者数据上有效训练全局模型的挑战。此外，在这种情况下，每个参与者都会期望从 FL 中获得一个针对其局部数据特征量身定制的个性化模型。在这项工作中，我们提出了一个具有联邦模态特定编码器和多模态锚点 (FedMEMA) 的新 FL 框架，以同时解决这两个并发问题。首先，FedMEMA 为每种模态采用一个专属编码器，以首要解决模态间异质性问题。同时，虽然编码器由参与者共享，但解码器被个性化以满足个人需求。具体而言，拥有全模态数据的服务器采用融合解码器来聚合和融合来自所有模态特定编码器的表示，从而桥接各模态以通过反向传播优化编码器。同时，除了编码器参数外，还从融合的多模态表示中提取多个锚点并分发给客户端。另一方面，模态不完整的客户端通过缩放点积交叉注意力将其缺失模态的表示校准至全局全模态锚点，从而弥补因模态缺失造成的信息损失，同时调整现有模态的表示。FedMEMA 在 BraTS 2020 基准上进行了多模态脑肿瘤分割的验证。结果表明，它优于各种最新的多模态和个性化 FL 方法，并且其新颖的设计是有效的。我们的代码已公开。