借助梯度裁剪促进参数化降维
机器学习
2020-10-01 v1 机器学习
摘要
我们通过训练神经网络，将一种著名的降维方法——t分布随机邻域嵌入（t-SNE）由非参数扩展为参数化。参数化技术的主要优势在于处理新数据的泛化能力，这对流式数据探索尤为有益。然而，训练神经网络以优化t-SNE目标函数时常失败。已有方法通过预训练再微调网络来克服该问题。我们发现训练失败源于梯度爆炸问题，其发生于高维空间中相距遥远的数据点被投影至邻近嵌入位置时。据此，我们应用梯度裁剪方法来解决该问题。由于网络通过直接优化t-SNE目标函数训练，我们的方法在享有泛化能力的同时，取得了与非参数t-SNE相兼容的嵌入质量。得益于小批量网络训练，我们的参数化降维方法极为高效。我们进一步将其他非参数的前沿方法，如LargeVis与UMAP，扩展为参数化版本。实验结果证明了我们方法的可行性。考虑到其实用性，我们将很快发布代码供公开使用。
引用
@article{arxiv.2009.14373,
title = {Facilitate the Parametric Dimension Reduction by Gradient Clipping},
author = {Chien-Hsun Lai and Yu-Shuen Wang},
journal= {arXiv preprint arXiv:2009.14373},
year = {2020}
}