面向联邦域泛化的特征分布匹配
机器学习
2022-10-18 v3
摘要
多源域适应已被广泛研究。特定域固有的特征分布偏移会导致负迁移问题，降低模型对未见任务的泛化能力。在联邦学习（FL）中，通过共享学习到的模型参数来训练全局模型，以利用在独立数据域上训练的客户端模型间的底层知识。然而，FL 的数据保密性阻碍了需要不同域数据先验知识的传统域适应方法的有效性。我们提出了一种新的联邦域泛化方法，称为联邦知识对齐（FedKA）。FedKA 在全局工作空间中利用特征分布匹配，使得全局模型能够在未知客户端数据的约束下学习域不变的客户端特征。FedKA 采用联邦投票机制，基于客户端的共识生成目标域伪标签，以促进全局模型微调。我们进行了广泛的实验（包括消融研究），使用不同的模型架构在图像和文本分类任务中评估所提方法的有效性。实证结果表明，FedKA 在 Digit-Five 和 Office-Caltech10 上分别实现了 8.8% 和 3.5% 的性能提升，并在训练数据极其有限的 Amazon Review 上实现了 0.7% 的提升。此外，我们基于名为群体效应的新准则研究了 FedKA 在缓解 FL 负迁移方面的有效性。结果表明，FedKA 能够减少负迁移，通过模型聚合将性能提升幅度提高 4 倍。
引用
@article{arxiv.2203.11635,
title = {Feature Distribution Matching for Federated Domain Generalization},
author = {Yuwei Sun and Ng Chong and Hideya Ochiai},
journal= {arXiv preprint arXiv:2203.11635},
year = {2022}
}
备注
Accepted for Asian Conference on Machine Learning (ACML 2022)