随机邻域嵌入与相对熵的梯度流
机器学习
2025-03-26 v2 经典分析与常微分方程
概率论
摘要
维数约化广泛应用于科学领域，将高维数据映射到低维空间。我们研究了随机邻域嵌入 (SNE) 及其流行变体 t-SNE 背后的基本数学模型。高维空间中点之间的距离用于定义点对之间的概率分布，衡量这些点的相似性。目标是以最佳方式将这些点映射到低维空间，使相似的点彼此靠近。这通过最小化两个概率分布之间的相对熵来实现。我们考虑相对熵的梯度流并分析其长期行为。这是一个关于非线性常微分方程系统行为的自包含数学问题。我们发现演化集合直径随时间无限大的最优界限。特别是，对于 t-SNE 版本，直径可能发散，但对于 SNE 则保持有界。
引用
@article{arxiv.2409.16963,
title = {Stochastic neighborhood embedding and the gradient flow of relative entropy},
author = {Ben Weinkove},
journal= {arXiv preprint arXiv:2409.16963},
year = {2025}
}
备注
14 pages, v2 final version with minor corrections and title change as suggested by referees, to appear in Discrete Contin. Dyn. Syst