用于密度估计与逼近的增广KRnet
机器学习
2021-06-21 v2 机器学习
摘要
在这项工作中，我们提出了包含离散与连续模型的增广KRnet。基于流的生成建模中的一个难点是保持传输映射的可逆性，这往往是有效性与鲁棒性之间的权衡。在real NVP中，通过一种特定模式在两个分离的维度组之间交换信息，实现了精确可逆性。KRnet通过将Knothe-Rosenblatt重排纳入传输映射的结构中，增强了数据维度间的信息交换。由于保持精确可逆性，KRnet中对所有数据维度的全非线性更新需要三次迭代。为缓解此问题，我们将添加增广维度作为数据维度间通信的通道。在增广KRnet中，全非线性更新在两次迭代中即可实现。我们还表明增广KRnet可重新表述为神经ODE的离散化，其中保持精确可逆性，从而可针对离散化ODE构建伴随方法以获得精确梯度。我们已通过数值实验证明了模型的有效性。
引用
@article{arxiv.2105.12866,
title = {Augmented KRnet for density estimation and approximation},
author = {Xiaoliang Wan and Kejun Tang},
journal= {arXiv preprint arXiv:2105.12866},
year = {2021}
}