利用 SoS 密度估计和$\alpha$-散度的序列传输映射
机器学习
2024-10-03 v2 机器学习
摘要
基于传输的密度估计方法因其能够从近似密度中高效生成样本而受到越来越多的关注。我们进一步研究了 arXiv:2106.04170 和 arXiv:2303.02554 中提出的序列传输映射框架，该框架构建了一系列复合的 Knothe-Rosenblatt (KR) 映射。每个映射的构建首先估计一个中等复杂度的中间密度，然后计算从参考密度到预计算近似密度的精确 KR 映射。在我们的工作中，我们探索了使用平方和 (SoS) 密度和-散度来近似中间密度。有趣的是，将 SoS 密度与-散度相结合会产生凸优化问题，这些问题可以使用半定规划高效求解。-散度的主要优势在于能够处理未归一化密度，这在数值和理论上都提供了益处。特别是，我们基于-散度的信息几何性质，提供了序列传输映射的新收敛性分析。中间密度的选择对于方法的效率也至关重要。虽然退火（或模拟退火）密度是目前的最先进技术，但我们引入了基于扩散的中间密度，这使得能够近似仅从样本中已知的密度。此类中间密度在机器学习的生成建模中已得到充分确立。最后，我们提出了低维映射（或惰性映射）以处理高维问题，并在贝叶斯推断问题和无监督学习任务上对我们的方法进行了数值演示。
引用
@article{arxiv.2402.17943,
title = {Sequential transport maps using SoS density estimation and $\alpha$-divergences},
author = {Benjamin Zanger and Olivier Zahm and Tiangang Cui and Martin Schreiber},
journal= {arXiv preprint arXiv:2402.17943},
year = {2024}
}