用于非线性嵌入快速学习的部分海森策略
机器学习
2012-06-22 v1 机器学习
摘要
随机邻域嵌入 (Stochastic neighbor embedding, SNE) 及相关的非线性流形学习算法能够实现高质量的相似性数据低维表示，但其训练过程众所周知地缓慢。我们提出了一种包含 SNE 及其他现有算法的嵌入算法通用公式，并研究了它们与谱方法及图拉普拉斯算子的关系。这使得我们能够定义几种部分海森 (partial-Hessian) 优化策略，刻画其全局和局部收敛性，并进行实证评估。通过一种称为“谱方向”(spectral direction) 的策略，我们实现了比现有训练方法高达两个数量级的加速；该策略几乎不增加梯度计算的开销，同时简单、可扩展，并适用于多种现有及未来的嵌入算法。
引用
@article{arxiv.1206.4646,
title = {Partial-Hessian Strategies for Fast Learning of Nonlinear Embeddings},
author = {Max Vladymyrov and Miguel Carreira-Perpinan},
journal= {arXiv preprint arXiv:1206.4646},
year = {2012}
}
备注
ICML2012