Lipschitz三角流的尾部性质
统计理论
2020-09-22 v3 机器学习
机器学习
统计理论
摘要
我们通过研究所涉流方法中作用于易处理源密度的递增三角映射，考察了流行的基于流的方法捕捉目标密度尾部性质的能力。我们证明了源密度与目标密度的密度分位数函数精确刻画了捕捉目标密度尾部所需的变换斜率。我们进一步证明，任何作用于源密度的Lipschitz连续传输映射都将产生具有与源密度相似尾部性质的密度，这凸显了复杂源密度与足以表达以捕捉目标密度理想性质的变换之间的权衡。随后，我们说明如最初实现的Real-NVP、MAF和Glow等流模型缺乏捕捉具有非高斯尾部分布的能力。我们通过提出尾部自适应流规避此问题，该流由可与三角映射同时学习的源分布组成，以捕捉目标密度的尾部性质。我们进行了若干合成与真实世界实验以佐证我们的理论发现。
引用
@article{arxiv.1907.04481,
title = {Tails of Lipschitz Triangular Flows},
author = {Priyank Jaini and Ivan Kobyzev and Yaoliang Yu and Marcus Brubaker},
journal= {arXiv preprint arXiv:1907.04481},
year = {2020}
}
备注
Published at the 37th International Conference of Machine Learning, (ICML 2020)