基于设备端学习的联邦对比学习用于皮肤病诊断
机器学习
2022-02-16 v1 人工智能
计算机视觉与模式识别
图像与视频处理
摘要
深度学习模型已部署于越来越多的边缘和移动设备以提供医疗服务。这些模型依赖于大量标注数据进行训练以实现高精度。然而，对于皮肤病诊断等医疗应用，移动皮肤病助手收集的私有数据存在于患者的分布式移动设备上，且每个设备仅拥有有限的数据量。直接从有限数据学习会大幅降低所学模型的性能。联邦学习（FL）可在保持数据本地化以保护隐私的同时，利用设备上的分布式数据训练模型。现有FL工作均假设所有数据具有真实标签。然而，医疗数据常无附带标签，因为标注需要专业知识且导致极高的劳动力成本。近期发展的自监督学习方法——对比学习（CL）可利用无标签数据预训练模型，之后在有限标注数据上微调以用于皮肤病诊断。然而，简单将CL与FL结合为联邦对比学习（FCL）会导致学习效果不佳，因为CL需要多样化数据，而每个设备仅有有限数据。本工作中，我们提出了一种面向标签有限的皮肤病诊断的设备端FCL框架。在FCL预训练过程中共享特征，以提供多样且准确的对比信息。之后，预训练模型在各设备上利用本地标注数据独立微调，或通过监督式联邦学习在所有设备上协作微调。在皮肤病数据集上的实验表明，与最先进方法相比，所提框架有效提升了皮肤病诊断的召回率与精确率。
引用
@article{arxiv.2202.07470,
title = {Federated Contrastive Learning for Dermatological Disease Diagnosis via On-device Learning},
author = {Yawen Wu and Dewen Zeng and Zhepeng Wang and Yi Sheng and Lei Yang and Alaina J. James and Yiyu Shi and Jingtong Hu},
journal= {arXiv preprint arXiv:2202.07470},
year = {2022}
}