FedNE：用于降维的代理辅助联邦近邻嵌入
机器学习
2024-10-15 v2 人工智能
摘要
联邦学习（FL）作为一种有前景的范式迅速发展，它使分布式参与者能够在不交换本地数据的情况下协同训练模型。尽管FL在计算机视觉、图学习和自然语言处理等领域有广泛应用，但开发一种能在FL背景下有效用于数据可视化的数据投影模型至关重要，然而该领域仍被严重忽视。近邻嵌入（NE）是可视化复杂高维数据的一项关键技术，但协同学习一个联合NE模型十分困难。关键挑战在于目标函数，因为像NE这样有效的可视化算法需要计算数据对之间的损失函数。在本文中，我们介绍了FedNE，这是一种将FedAvg框架与对比NE技术相结合的新方法，无需任何可共享数据。为了解决对全局嵌入空间对齐至关重要的客户端间排斥力缺失问题，我们开发了一个代理损失函数，供每个客户端学习并相互共享。此外，我们提出了一种数据混合策略来增强本地数据，旨在缓解由本地k近邻图构建的不可见邻居和虚假邻居问题。我们在合成数据集和真实世界数据集上进行了全面实验。结果表明，与几种基线方法相比，我们的FedNE能够有效保留邻域数据结构并增强全局嵌入空间中的对齐。
引用
@article{arxiv.2409.11509,
title = {FedNE: Surrogate-Assisted Federated Neighbor Embedding for Dimensionality Reduction},
author = {Ziwei Li and Xiaoqi Wang and Hong-You Chen and Han-Wei Shen and Wei-Lun Chao},
journal= {arXiv preprint arXiv:2409.11509},
year = {2024}
}