一种面向大数据的新型投影寻踪指数
统计方法学
2023-12-12 v1
摘要
以静态或动态形式可视化超大规模数据集是一个巨大的挑战，因为大多数传统方法无法处理大数据问题。本文提出了一种基于投影寻踪、引导式探索和数据块方法的大数据可视化新方法，这将有助于显示大数据中隐藏的有趣结构，如聚类、离群点和其他非线性结构。引导式探索是一种结合了投影寻踪和大巡游方法的动态高维数据图形工具。它通过使用投影寻踪（PP）指数函数在数据空间中导航，显示一系列动态的低维投影。已经开发了不同的PP指数来检测多元数据的有趣结构，但使用这些指数的原始引导式探索在处理大数据时存在计算问题。借助一种称为数据块的数据压缩方法，该方法在保持原始数据结构的同时缩减大数据集，我们开发了一种可计算大数据的新PP指数。进行了模拟研究，并使用一个真实的大数据集来说明所提出的方法。基于所提出的PP指数，可以开发用于检测非线性结构的静态和动态大数据图形工具。
引用
@article{arxiv.2312.06465,
title = {A New Projection Pursuit Index for Big Data},
author = {Yajie Duan and Javier Cabrera and Birol Emir},
journal= {arXiv preprint arXiv:2312.06465},
year = {2023}
}