将 tSNE 与 UMAP 关联至经典降维方法
机器学习
2024-06-17 v2 人工智能
摘要
在解释AI模型所学内容时，使用基于梯度的降维(DR)方法（如tSNE和UMAP）已成为标准做法。这是合理的：这些方法快速、鲁棒，并且具有在无监督情况下从高维数据中找到语义模式的惊人能力。尽管如此，基于梯度的DR方法缺乏可解释性方法应具备的最重要的品质：其自身是可解释的。也就是说，给定UMAP输出，目前尚不清楚能就相应输入说些什么。我们致力于通过将对UMAP与经典DR技术相关联来弥合这一问题。具体而言，我们表明可以在现代DR范式下完全恢复诸如PCA、MDS和ISOMAP的方法：通过对随机初始化的数据集施加吸引与排斥。我们还表明，通过微小改动，局部线性嵌入(LLE)可以不可区分地复现UMAP输出。这意味着UMAP的有效目标被该改进版LLE最小化（反之亦然）。鉴于此，我们讨论UMAP嵌入必须具备的性质，并给出未来工作的方向。
引用
@article{arxiv.2306.11898,
title = {Relating tSNE and UMAP to Classical Dimensionality Reduction},
author = {Andrew Draganov and Simon Dohn},
journal= {arXiv preprint arXiv:2306.11898},
year = {2024}
}