面向心脏 CT 影像的真实世界联邦学习与知识蒸馏变换模型
图像与视频处理
2025-11-05 v3 计算机视觉与模式识别
摘要
联邦学习是一种著名的技术，可在保持隐私的同时利用分散数据。然而，实际应用常面临部分标记数据集的挑战，即只有少数地点具有特定专家标注，导致大量未标记数据未被利用。利用这些数据可提升变换模型在小规模和多样标注集合中的表现。我们进行了规模最大的联邦心脏 CT 分析（样本数 n=8,104），在真实世界环境下跨八家医院进行。我们的两步半监督策略将任务特定的 CNN 知识蒸馏到变换模型中。首先，CNN 在每种标签类型上对未标记数据进行预测，然后变换模型通过标签特定的头部学习这些预测，从而提高预测精度，并实现联邦内所有部分标签的同步学习。在下游任务的通用性方面， outperform UNet-based 模型。代码和模型权重已公开提供，以便利用未来的心脏 CT 分析。
引用
@article{arxiv.2407.07557,
title = {Real World Federated Learning with a Knowledge Distilled Transformer for Cardiac CT Imaging},
author = {Malte Tölle and Philipp Garthe and Clemens Scherer and Jan Moritz Seliger and Andreas Leha and Nina Krüger and Stefan Simm and Simon Martin and Sebastian Eble and Halvar Kelm and Moritz Bednorz and Florian André and Peter Bannas and Gerhard Diller and Norbert Frey and Stefan Groß and Anja Hennemuth and Lars Kaderali and Alexander Meyer and Eike Nagel and Stefan Orwat and Moritz Seiffert and Tim Friede and Tim Seidler and Sandy Engelhardt},
journal= {arXiv preprint arXiv:2407.07557},
year = {2025}
}