Cloud K-SVD：一种面向大规模分布式数据的协同字典学习算法
机器学习
2018-03-06 v2 信息论
math.IT
机器学习
摘要
本文研究了针对大规模分布式数据的数据自适应表示问题。假设存在多个地理分布且相互连接的站点，它们拥有海量的本地数据，并致力于协同学习这些数据 underlying 的低维几何结构。与以往基于子空间的数据表示工作不同，本文聚焦于子空间并集 (UoS) 的几何结构。为此，本文提出了一种名为 Cloud K-SVD 的分布式算法，用于协同学习感兴趣分布式数据 underlying 的 UoS 结构。Cloud K-SVD 的目标是在每个独立站点学习一个公共的过完备字典，使得分布式数据中的每个样本都可以通过所学字典的少量原子进行表示。Cloud K-SVD 无需在站点间交换个体样本即可实现这一目标，这使其适用于因隐私顾虑或数据量巨大而不鼓励共享原始数据的应用场景。本文还提供了对 Cloud K-SVD 的分析，深入探讨了其性质，以及在不同局部/全局数据度量和互连拓扑下，各站点所学字典与集中式解的偏差。最后，本文通过数值实验展示了 Cloud K-SVD 在真实和合成分布式数据上的有效性。
引用
@article{arxiv.1412.7839,
title = {Cloud K-SVD: A Collaborative Dictionary Learning Algorithm for Big, Distributed Data},
author = {Haroon Raja and Waheed U. Bajwa},
journal= {arXiv preprint arXiv:1412.7839},
year = {2018}
}
备注
Accepted for Publication in IEEE Trans. Signal Processing (2015); 16 pages, 3 figures