拥抱混沌：变分流中数值不稳定的分析与诊断
机器学习
2023-10-31 v2 机器学习
数值分析
数值分析
统计计算
摘要
在本文中，我们研究了数值不稳定性对变分流中采样、密度评估和证据下界（ELBO）估计可靠性的影响。我们首先通过经验证明，常见流会表现出灾难性的误差累积：数值流映射明显偏离精确映射——这影响采样——且数值逆流映射不能准确恢复初始输入——这影响密度和 ELBO 计算。然而令人惊讶的是，我们发现尽管存在严重的数值不稳定性，流产生的结果通常对于应用而言足够准确。在这项工作中，我们将变分流视为动力系统，并利用阴影理论通过关于采样、密度评估和 ELBO 估计误差的理论保证来阐明这种行为。最后，我们开发并经验测试了一种诊断流程，可用于在实践中验证由数值不稳定流产生的结果。
引用
@article{arxiv.2307.06957,
title = {Embracing the chaos: analysis and diagnosis of numerical instability in variational flows},
author = {Zuheng Xu and Trevor Campbell},
journal= {arXiv preprint arXiv:2307.06957},
year = {2023}
}