非线性嵌入的内在普适度量
机器学习
2022-08-02 v2 机器学习
摘要
机器学习中的一个基本问题是找到从低维潜空间 到高维观测空间 的映射 。深度神经网络等现代工具能够表示一般非线性映射。学习者可以轻易找到完美拟合所有观测的映射。然而，这样的映射通常不被认为好，因为它不够简单且可能过拟合。如何定义简单性？我们尝试对非线性映射 所施加的信息量给出形式化定义。直观上，我们度量拉回几何与潜空间内在几何之间的局部差异。我们的定义基于信息几何，且独立于经验观测与特定参数化。我们证明了其基本性质并讨论了与相关机器学习方法的关系。
引用
@article{arxiv.1811.01464,
title = {Intrinsic Universal Measurements of Non-linear Embeddings},
author = {Ke Sun},
journal= {arXiv preprint arXiv:1811.01464},
year = {2022}
}