理解降维工具如何工作：解读 t-SNE、UMAP、TriMAP 与 PaCMAP 用于数据可视化的实证方法
机器学习
2021-08-27 v2 机器学习
摘要
t-SNE、UMAP 与 TriMAP 等降维（DR）技术在许多真实数据集上展现出令人印象深刻的 Visualization 性能。这些方法始终面临的一个张力是全局结构保持与局部结构保持之间的权衡：它们只能处理其一，无法兼顾。本工作中，我们的主要目标是理解 DR 方法中哪些方面对保持局部与全局结构至关重要：若不能真正理解算法中所作选择及其对所得低维嵌入的经验影响，便难以设计更优方法。为达成局部结构保持之目标，我们基于对新近成功 DR 方法背后机制的理解，给出若干有用的 DR 损失函数设计原则。为达成全局结构保持之目标，我们的分析阐明应保留哪些分量这一选择十分重要。我们利用这些洞见设计了一种新的 DR 算法，称为成对控制流形近似投影（PaCMAP），其可同时保持局部与全局结构。我们的工作就构建 DR 算法时该做与应避免哪些设计选择，提供了若干出人意料的见解。
引用
@article{arxiv.2012.04456,
title = {Understanding How Dimension Reduction Tools Work: An Empirical Approach to Deciphering t-SNE, UMAP, TriMAP, and PaCMAP for Data Visualization},
author = {Yingfan Wang and Haiyang Huang and Cynthia Rudin and Yaron Shaposhnik},
journal= {arXiv preprint arXiv:2012.04456},
year = {2021}
}