变分 Polya 树
机器学习
2025-10-28 v1 人工智能
摘要
密度估计是生成式建模的核心内容，尤其是在现代神经网络的推崇下。虽然现有方法能够捕捉复杂的数据分布，但往往缺乏可解释性和不确定性量化。贝叶斯非参数方法，特别是 Polya 树，提供了一种稳健的框架，能够准确捕捉函数在小区间内的行为。传统技术如马尔可夫链蒙特卡洛 (MCMC) 面临高计算复杂度和可扩展性限制，阻碍了贝叶斯非参数方法在深度学习中的应用。为此，我们引入变分 Polya 树 (VPT) 模型，采用随机变分推断计算后验分布。该模型提供了一个灵活的、非参数的贝叶斯先验，能够捕捉潜在密度，并能良好地与随机梯度优化配合工作。我们还利用联合分布似然实现比传统均值场方法更精确的变分后验近似。我们在真实数据和图像上评估了该模型，并展示其在与其他最先进的深度密度估计方法方面的竞争性能。我们还探讨了其在增强可解释性和不确定性量化方面的潜力。代码已在 https://github.com/howardchanth/var-polya-tree 上提供。
引用
@article{arxiv.2510.22651,
title = {Variational Polya Tree},
author = {Lu Xu and Tsai Hor Chan and Kwok Fai Lam and Lequan Yu and Guosheng Yin},
journal= {arXiv preprint arXiv:2510.22651},
year = {2025}
}