基于耦合的标准化流的白化收敛速率
机器学习
2022-10-26 v1 机器学习
摘要
基于耦合的标准化流(如RealNVP)是一类流行的标准化流架构,在实践中表现惊人地好,这亟需理论上的理解。已有工作表明此类流弱收敛于任意数据分布,但并未对实践中使用的更严格收敛准则——最大似然损失——作出任何论断。我们首次对此类收敛给出定量结论:证明所有基于耦合的标准化流均对数据分布执行白化(即协方差矩阵对角化),并推导出相应的收敛界,表明其随流深度呈线性收敛速率。数值实验展示了我们理论的含义并指出了开放问题。
引用
@article{arxiv.2210.14032,
title = {Whitening Convergence Rate of Coupling-based Normalizing Flows},
author = {Felix Draxler and Christoph Schnörr and Ullrich Köthe},
journal= {arXiv preprint arXiv:2210.14032},
year = {2022}
}
备注
Proceedings of 36th Conference on Neural Information Processing System (NeurIPS 2022)