统一对齐协议：理解新领域中的无标签数据
计算机视觉与模式识别
2025-05-28 v1 机器学习
摘要
半监督联邦学习（SSFL）在许多实际应用中比传统联邦学习更受欢迎。由于客户端标注数据有限的现实局限性，SSFL 假设参与的客户端使用无标签数据进行训练，只有中央服务器拥有必要的资源来访问有限的标注数据，这使其非常适合实际应用（例如医疗保健）。然而，传统的 SSFL 假设训练阶段和测试阶段的数据分布是相同的。但在实践中，领域偏移经常发生，这使得 SSFL 纳入泛化能力并增强其实用性变得至关重要。核心挑战是在客户端参与 SSFL 的同时，提高模型对新未见领域的泛化能力。然而，SSFL 的去中心化设置和无监督客户端训练需要创新才能实现跨领域的更好泛化。为此，我们提出了一个名为统一对齐协议（UAP）的新框架，该框架包含一个交替的两阶段训练过程。第一阶段涉及训练服务器模型以学习特征并将其与参数分布对齐，随后将该分布传递给客户端，且不产生额外的通信开销。第二阶段提出了一种新颖的训练算法，利用服务器特征分布来相应地对齐客户端特征。我们在多个模型架构上的标准领域泛化基准数据集上进行了广泛实验，结果表明所提出的 UAP 在 SSFL 设置中成功实现了 SOTA 泛化性能。
引用
@article{arxiv.2505.21010,
title = {Unified Alignment Protocol: Making Sense of the Unlabeled Data in New Domains},
author = {Sabbir Ahmed and Mamshad Nayeem Rizve and Abdullah Al Arafat and Jacqueline Liu and Rahim Hossain and Mohaiminul Al Nahian and Adnan Siraj Rakin},
journal= {arXiv preprint arXiv:2505.21010},
year = {2025}
}