联邦t-SNE与UMAP:面向分布式数据可视化
机器学习
2024-12-19 v1 人工智能
摘要
高维数据可视化在大数据时代至关重要,t-SNE和UMAP等技术已在科学和工程领域广泛应用。然而,大数据通常分布在多个数据中心,并面临安全与隐私问题,这给t-SNE和UMAP的标准算法带来了困难。为应对这一挑战,本文提出了Fed-tSNE和Fed-UMAP,它们在联邦学习框架下提供高维数据可视化,无需在客户端之间交换数据或将数据发送到中央服务器。Fed-tSNE和Fed-UMAP的核心思想是以联邦学习的方式隐式学习数据的分布信息,然后为t-SNE和UMAP估计全局距离矩阵。为进一步增强数据隐私保护,我们提出了Fed-tSNE+和Fed-UMAP+。我们还将这一思想扩展到联邦谱聚类,得到了分布式数据聚类的算法。除这些新算法外,我们还提供了优化收敛、距离与相似度估计以及差分隐私的理论保证。在多个数据集上的实验表明,与原始算法相比,我们的联邦算法的精度下降极小。
引用
@article{arxiv.2412.13495,
title = {Federated t-SNE and UMAP for Distributed Data Visualization},
author = {Dong Qiao and Xinxian Ma and Jicong Fan},
journal= {arXiv preprint arXiv:2412.13495},
year = {2024}
}
备注
The paper was accepted by AAAI 2025