切片迭代归一化流
机器学习
2021-06-16 v3 机器学习
摘要
我们开发了一种迭代(贪心)深度学习(DL)算法,能够将任意概率分布函数(PDF)变换为目标 PDF。该模型基于一系列一维切片的迭代最优传输,在每个切片上将边缘 PDF 与目标匹配。正交切片的轴在每次迭代时选取以最大化 Wasserstein 距离度量的 PDF 差异,这使得算法能够良好地扩展到高维。作为该算法的特例,我们引入了两种切片迭代归一化流(SINF)模型,分别实现从数据到潜空间(GIS)和反之(SIG)的映射。我们展示了 SIG 能够生成与 GAN 基准相匹配的优质图像数据集样本,而 GIS 在密度估计任务上相较于密度训练的 NFs 取得了有竞争力的结果,并且在小训练集上训练时更稳定、更快,并获得更高的 。SINF 方法显著偏离当前的 DL 范式,因为它是贪心的,并且不使用如小批量、随机梯度下降和深度层梯度反向传播等概念。
引用
@article{arxiv.2007.00674,
title = {Sliced Iterative Normalizing Flows},
author = {Biwei Dai and Uros Seljak},
journal= {arXiv preprint arXiv:2007.00674},
year = {2021}
}
备注
19 pages, 12 figures, 7 tables. Code available at https://github.com/biweidai/SINF