通过类内-类间原型消除联邦学习中的域迁移

联邦学习 (FL) 作为一种去中心化的机器学习技术，允许客户端在不共享私有数据的情况下协同训练全局模型。然而，大多数联邦学习研究忽略了客户端特征分布不同的异构域这一关键挑战，在实际场景中十分常见。原型学习利用同一类别的均值特征向量，已成为联邦学习在域迁移情况下的热门解决方案。然而，现有联邦原型学习方法仅关注类间原型，忽略了类内视角。在本文中，我们引入了一种新型联邦原型学习方法，即I$^2$PFL，融合了$\textbf{I}$ntra-domain和$\textbf{I}$nter-domain $\textbf{P}$rototypes，从两个角度消除域迁移，在联邦学习中学习跨多个域的通用全局模型。为构建类内原型，我们提出了基于MixUp的增强原型进行特征对齐，以捕捉本地域的多样性并增强局部特征的泛化性。此外，我们引入一种对类间原型的重加权机制，以生成具有普遍性的原型，从而减少域迁移并在多个客户端之间提供类间知识。在Digits、Office-10和PACS数据集上的大量实验表明，我们的方法在其他基线方法之上表现出色。