用于语义分割的深度域隔离与样本聚类联邦学习
计算机视觉与模式识别
2024-10-22 v1 图像与视频处理
摘要
实证研究表明,联邦学习在非独立同分布(Non-IID)设置下存在收敛问题。然而,这些研究仅关注标签分布偏移或概念偏移(例如模糊任务)。在本文中,我们首次探讨了二维分割任务中参与者数据之间的协变量偏移的影响,结果表明其影响远小于标签偏移,但仍对收敛有影响。此外,当前的个性化联邦学习(PFL)和聚类联邦学习(CFL)方法通过在客户端层面操作,内在地假设每个参与者的数据集是同质的,并且与未来的测试样本一致。我们引入了一个更通用、更现实的框架,其中每个参与者拥有多个底层特征域分布的混合。为了诊断这种影响联邦训练模型的有问题的特征分布,我们开发了深度域隔离(DDI)方法,直接在模型的梯度空间中隔离图像域。对每个类别的样本梯度拟合一个联邦高斯混合模型,同时在服务器端将结果与谱聚类相结合,以隔离分散的样本级域。我们通过一个样本聚类联邦学习(SCFL)框架利用这种聚类算法,对多个独立模型执行标准联邦学习,每个模型对应一个分散的图像域。最后,我们训练一个分类器,使其能够在推理时将测试样本关联到其对应的域簇,从而提供一组最终模型,这些模型对每个参与者的测试分布没有任何假设。我们在一个玩具分割数据集以及Cityscapes和GTA5数据集的不同划分上,使用EfficientVIT-B0模型验证了我们的方法,结果显示与其他方法相比有显著的性能提升。我们的代码可在https://github.com/MatthisManthe/DDI_SCFL获取。
引用
@article{arxiv.2410.14693,
title = {Deep Domain Isolation and Sample Clustered Federated Learning for Semantic Segmentation},
author = {Matthis Manthe and Carole Lartizien and Stefan Duffner},
journal= {arXiv preprint arXiv:2410.14693},
year = {2024}
}