软分离与蒸馏：面向联邦无监督学习的全局均匀性
机器学习
2025-08-05 v1
摘要
联邦无监督学习（FUL）旨在联邦和自监督环境下学习表达。FUL中学习的表达质量通常由均匀性决定，即表达在嵌入空间中的分布均匀程度。然而，现有解决方案在实现客户端局部均匀性方面表现良好，但在聚合后难以实现客户端间全局均匀性，由于非独立同分布数据和FUL的去中心化特性。为此，我们提出软分离与蒸馏（SSD）——一种新方法，通过鼓励客户端表达向不同方向扩散来保持客户端间均匀性。此设计在客户端模型聚合期间减少干扰，从而提升全局均匀性 while 保持本地表达的表现力。进一步引入投影器蒸馏模块以解决损失优化与表达质量之间的差异。在跨-silo和跨-device的联邦setting中评估表明，SSD在各种训练场景下均显著提升表达质量和任务性能。我们的研究突显了客户端间均匀性在FUL中的重要性，确立了SSD作为解决此挑战的有效方法。项目页面：https://ssd-uniformity.github.io/
引用
@article{arxiv.2508.01251,
title = {Soft Separation and Distillation: Toward Global Uniformity in Federated Unsupervised Learning},
author = {Hung-Chieh Fang and Hsuan-Tien Lin and Irwin King and Yifei Zhang},
journal= {arXiv preprint arXiv:2508.01251},
year = {2025}
}
备注
Published at ICCV 2025