标准化流的雅可比行列式
机器学习
2021-02-18 v2 人工智能
机器学习
摘要
标准化流学习目标分布与基分布之间的微分同胚映射,而该映射的雅可比行列式构成另一个实值函数。本文中,我们证明对于给定的分布,雅可比行列式映射是唯一的,因此流的似然目标具有唯一的全局最优。特别地,一类流的似然由单个数据点的自相关矩阵的特征值显式表达,且与神经网络的参数化无关,这为似然目标提供了理论最优值并与概率主成分分析相关。此外,雅可比行列式是局部体积变化的度量,当使用 MLE 进行优化时其被最大化。为稳定标准化流训练,需要维持体积膨胀与收缩之间的平衡,即对微分同胚映射及其逆施加 Lipschitz 约束。基于这些理论结果,提出了若干设计标准化流的原则。并在高维数据集(如 CelebA-HQ 1024x1024)上进行数值实验以展示训练稳定性的提升。
引用
@article{arxiv.2102.06539,
title = {Jacobian Determinant of Normalizing Flows},
author = {Huadong Liao and Jiawei He},
journal= {arXiv preprint arXiv:2102.06539},
year = {2021}
}
备注
14 pages