Sketch and Scale：地理分布的tSNE与UMAP
分布式、并行与集群计算
2020-11-13 v1 太阳与恒星天体物理
机器学习
摘要
在确保隐私与数据安全的数据管理策略下，对地理分布数据集运行机器学习分析是一个迅速涌现的问题。使用t分布随机邻域嵌入（tSNE）和一致流形逼近与投影（UMAP）等工具可视化高维数据已成为数据科学家的常见实践。这两种工具在时间和内存上的扩展性均较差。尽管近期的优化已能成功处理10,000个数据点，但扩展到百万点以上仍具挑战。我们引入一种新框架：Sketch and Scale（SnS）。它利用Count Sketch数据结构在边缘节点压缩数据，在主节点聚合缩减尺寸的草图，并在从聚合草图提取出的、代表最密集区域的摘要上运行原生tSNE或UMAP。我们表明该技术完全并行，时间上线性扩展，内存与通信上对数扩展，从而可分析分布在全球多个数据中心的、达数千万乃至数十亿数据点的数据集。我们在两个中等规模数据集上展示了方法的威力：来自多张肿瘤活检图像的5200万35波段像素的癌症数据；以及来自斯隆数字巡天（SDSS）的1亿颗多色测光恒星的天体物理数据。
引用
@article{arxiv.2011.06103,
title = {Sketch and Scale: Geo-distributed tSNE and UMAP},
author = {Viska Wei and Nikita Ivkin and Vladimir Braverman and Alexander Szalay},
journal= {arXiv preprint arXiv:2011.06103},
year = {2020}
}
备注
IEEE BigData2020 conference