梯度提升归一化流
机器学习
2020-10-20 v4 计算机视觉与模式识别
机器学习
摘要
通过链接一系列可微可逆变换，归一化流（NF）提供了一种用于后验近似、精确密度评估与采样的富有表现力的方法。归一化流文献中的趋势是设计更深、更复杂的变换以实现更大灵活性。我们提出一种替代方案：梯度提升归一化流（GBNF）通过以梯度提升 successively 添加新 NF 组件来建模密度。在提升框架下，每个新 NF 组件优化样本加权似然目标，从而拟合到先前训练组件的残差上。GBNF 公式形成混合模型结构，其灵活性随组件增多而增强。此外，GBNF 提供了一种更宽而非严格更深的途径，以额外训练代价（而非更复杂变换）改进现有 NF。我们展示了该技术在密度估计以及将 GBNF 与变分自编码器耦合进行图像生成建模中的有效性。我们的结果表明，GBNF 优于其非提升对应方法，且在某些情况下以更小更简单的流取得更好结果。
引用
@article{arxiv.2002.11896,
title = {Gradient Boosted Normalizing Flows},
author = {Robert Giaquinto and Arindam Banerjee},
journal= {arXiv preprint arXiv:2002.11896},
year = {2020}
}
备注
Appearing in the 34th Conference on Neural Information Processing Systems (NeurIPS 2020), Vancouver, Canada