FedSC：具有语义感知协作的联邦学习

联邦学习（FL）旨在跨客户端协作训练模型，且不共享数据以保护隐私。然而，一个主要挑战是数据异构性问题，指的是多个客户端上存在有偏的标注偏好。许多现有的 FL 方法试图在本地（例如，正则化本地模型）或全局（例如，微调全局模型）解决数据异构性，往往忽略了每个客户端中包含的固有语义信息。为了探索使用客户端内语义知识来处理数据异构性的可能性，本文提出了具有语义感知协作的联邦学习（FedSC），以捕获异构客户端间特定于客户端的类相关知识。FedSC 的核心思想是在语义层面构建关系原型和一致原型，旨在以原型协作的方式提供丰富的类底层知识和稳定的收敛信号。一方面，FedSC 引入了一种类间对比学习策略，将实例级嵌入拉近至具有相同语义的关系原型，并远离不同类的原型。另一方面，FedSC 通过差异聚合方式设计一致原型，作为正则化惩罚以约束本地模型的优化区域。此外，提供了 FedSC 的理论分析以确保收敛保证。在各种挑战性场景下的实验结果证明了 FedSC 的有效性及其关键组件的效率。