用于皮肤病变图像分类的证据联邦学习
计算机视觉与模式识别
2024-11-18 v1 人工智能
机器学习
摘要
我们提出了 FedEvPrompt，一种联邦学习方法，集成了证据深度学习、提示调优和知识蒸馏原理，用于分布式皮肤病变分类。FedEvPrompt 利用两组提示：b-提示（用于低级基础视觉知识）和 t-提示（用于任务特定知识），前置到在证据学习框架下训练的冻结预训练 Vision Transformer 模型，以最大化类别证据。关键在于，联邦客户端间的知识共享仅通过本地 ViT 模型生成的注意力图上的知识蒸馏实现，相比传统的参数或合成图像共享方法，确保了增强的隐私保护。FedEvPrompt 在基于轮次的学习范式中优化，每轮涉及训练本地模型，随后与所有联邦客户端共享注意力图。在真实分布式环境下，在 ISIC2019 数据集上的实验验证表明，FedEvPrompt 在不共享模型参数的情况下，优于基线联邦学习算法和知识蒸馏方法。总之，FedEvPrompt 为联邦学习提供了一种有前景的方法，有效解决了数据异质性、不平衡、隐私保护和知识共享等挑战。
引用
@article{arxiv.2411.10071,
title = {Evidential Federated Learning for Skin Lesion Image Classification},
author = {Rutger Hendrix and Federica Proietto Salanitri and Concetto Spampinato and Simone Palazzo and Ulas Bagci},
journal= {arXiv preprint arXiv:2411.10071},
year = {2024}
}
备注
Published as a conference paper at ICPR 2024