基于视觉特征先验的机器人手术仪器分段的个人化联邦学习

个人化联邦学习 (PFL) 用于手术仪器分段 (SIS) 是一种有前景的做法。它使多个临床站点能够在保护隐私的同时，协作训练多个模型，每个模型都针对每个站点的个人分布进行优化。现有的 PFL 方法很少考虑多头注意力的个人化，未能考虑手术场景中固有的外观多样性和仪器形状相似性。因此，我们提出了 PFedSIS，这是一种针对 SIS 的具有视觉特征先验的新型 PFL 方法，包含全局-个人化解缔 (GPD)、外观调节个人化增强 (APE) 和形状相似性全局增强 (SGE)，以提升每个站点的 SIS 性能。GPD 首次尝试对多头注意力进行头部级分配，以实现个人化。为保留每个站点独特的外观表示并逐步利用站点间差异，APE 引入外观调节，并通过每个站点的超网络为每个站点的个人化参数提供定制的分层聚合方案。通过 SGE，维护并共享仪器的相互形状信息，在图像层面增强跨风格形状一致性，并在预测层面计算每个站点的形状相似性贡献，以更新全局参数。PFedSIS 相对于最先进的方法实现了 +1.51% Dice、+2.11% IoU、-2.79 ASSD、-15.55 HD95 的性能提升。相应的代码和模型将发布于 https://github.com/wzjialang/PFedSIS。