应对异构三维MR膝关节图像：一种带双重知识蒸馏的联邦少样本学习方法
图像与视频处理
2023-04-19 v2 计算机视觉与模式识别
机器学习
摘要
联邦学习因能实现客户端（如医院）间无需聚合数据的协同训练，已在医疗机构中广受欢迎。然而，由于创建标注（尤其是大型3D图像数据集的标注）成本高昂，临床机构没有足够的监督数据用于本地训练。因此，在有限监督下协同模型的性能不佳。另一方面，大型机构拥有资源来构建具有高分辨率图像和标签的数据仓库。因此，单个客户端可利用在公共数据仓库中获得的知识来缓解私有标注图像的短缺。本文中，我们提出了一种带双重知识蒸馏的联邦少样本学习方法。该方法允许跨客户端在有限标注下联合训练且不损害隐私。所提方法的监督学习从每个客户端的有限标注数据中提取特征，而无监督数据用于从国家级数据仓库中蒸馏基于特征和基于响应的知识，以进一步提升协同模型的精度并降低通信成本。我们在来自私有临床数据集的3D磁共振膝关节图像上进行了广泛评估。我们提出的方法展现出优于其他半监督联邦学习方法的性能且训练时间更短。代码与额外可视化结果见 https://github.com/hexiaoxiao-cs/fedml-knee。
引用
@article{arxiv.2303.14357,
title = {Dealing With Heterogeneous 3D MR Knee Images: A Federated Few-Shot Learning Method With Dual Knowledge Distillation},
author = {Xiaoxiao He and Chaowei Tan and Bo Liu and Liping Si and Weiwu Yao and Liang Zhao and Di Liu and Qilong Zhangli and Qi Chang and Kang Li and Dimitris N. Metaxas},
journal= {arXiv preprint arXiv:2303.14357},
year = {2023}
}