基于数据划分的分布式主成分分析的性能开销权衡
分布式、并行与集群计算
2015-12-22 v3 网络与互联网体系结构
性能
摘要
主成分分析（PCA）不仅是一种基础的降维方法，也是一种广泛使用的网络异常检测技术。传统上，PCA以集中式方式执行，对于大型分布式系统可扩展性差，因为需要在融合中心收集分布式状态而产生巨大的网络带宽成本。因此，最近的若干工作提出了各种分布式 PCA 算法，旨在减少 PCA 带来的通信开销而不损失其推断能力。本文在一个来自大型网络的真实域名系统（DNS）查询数据集上，评估了两种分布式 PCA 算法的通信成本与解质量之间的权衡。我们还将分布式 PCA 算法应用于网络异常检测领域，并证明两种基于分布式 PCA 的方法的检测精度在质量上下降甚微，却实现了通信带宽的显著节省。
引用
@article{arxiv.1512.05172,
title = {On the performance overhead tradeoff of distributed principal component analysis via data partitioning},
author = {Ni An and Steven Weber},
journal= {arXiv preprint arXiv:1512.05172},
year = {2015}
}
备注
6 pages, 6 figures, submitted to CISS 2016