模型对比联邦域适应
机器学习
2023-05-19 v1
摘要
联邦域适应（FDA）旨在将知识从源客户端（域）协作迁移到相关但不同的目标客户端，且不通信任何客户端的本地数据。此外，源客户端具有不同数据分布，导致知识迁移极具挑战性。尽管 FDA 近期取得进展，我们经实证发现现有方法无法利用异构域的模型，因而未能取得优异性能。本文提出一种基于模型的方法 FDAC，旨在解决基于对比学习(contrastive learning)与 Vision Transformer (ViT) 的联邦域适应(Federated Domain Adaptation)。具体而言，对比学习可利用无标签数据训练优异模型，且 ViT 架构在提取可适应特征方面优于卷积神经网络（CNNs）。据我们所知，FDAC 是在联邦设定下通过操控 ViT 潜在架构来学习可迁移表示的首次尝试。此外，FDAC 可基于域增强与语义匹配，通过补偿各源模型中样本与特征知识不足来提升目标数据多样性。在多个真实数据集上的大量实验表明，FDAC 在大多数条件下优于所有对比方法。而且，FDCA 还能提升通信效率，这是联邦设定下的另一关键因素。
引用
@article{arxiv.2305.10432,
title = {Model-Contrastive Federated Domain Adaptation},
author = {Chang'an Yi and Haotian Chen and Yonghui Xu and Yifan Zhang},
journal= {arXiv preprint arXiv:2305.10432},
year = {2023}
}
备注
13 pages