深度生成网络的极大仿射样条洞察
机器学习
2020-02-28 v1 计算几何
计算机视觉与模式识别
机器学习
摘要
我们将一大类生成深度网络（GDNs）与样条算子相联系，以推导其性质、局限性与新机遇。通过刻画生成流形的潜空间划分、维数与角度性，我们将流形维数及逼近误差与样本量相关联。逐区域仿射子空间定义了局部坐标基；我们给出了这些基向量与解耦相关的充要条件。我们还推导了由潜空间密度映射到生成流形上的输出概率密度，从而能够计算诸如香农熵等关键统计量。该发现亦能计算GDN似然，为模型比较提供新机制，并为学习分布下的（生成）样本提供质量度量。我们展示了低熵和/或多模态分布无法被DGNs自然建模，且是训练不稳定的成因。
引用
@article{arxiv.2002.11912,
title = {Max-Affine Spline Insights into Deep Generative Networks},
author = {Randall Balestriero and Sebastien Paris and Richard Baraniuk},
journal= {arXiv preprint arXiv:2002.11912},
year = {2020}
}