信息论与变分推断中的平方和松弛
信息论
2023-09-19 v3 机器学习
math.IT
最优化与控制
机器学习
摘要
我们考虑香农相对熵的扩展，称为 -散度。通常有三个与这些散度相关的经典计算问题：(a) 由矩估计，(b) 计算归一化积分，以及 (c) 概率模型中的变分推断。这些问题通过凸对偶相互关联，并且对它们而言在数据科学中有许多应用，我们旨在寻求保持原问题性质（如潜在凸性或单调性）的计算上易处理的近似算法。为实现这一点，我们推导了用于从给定特征向量关联的非中心协方差矩阵计算这些散度的凸松弛序列：从通常难以处理的最优下界出发，我们考虑基于“平方和”的额外松弛，其现在可作为半定规划在多项式时间内计算。我们还提供了基于量子信息论中谱信息散度的计算上更高效的松弛。对于上述所有任务，除了提出新的松弛外，我们推导了易处理的凸优化算法，并展示了在多变量三角多项式和布尔超立方体上函数的实例。
引用
@article{arxiv.2206.13285,
title = {Sum-of-Squares Relaxations for Information Theory and Variational Inference},
author = {Francis Bach},
journal= {arXiv preprint arXiv:2206.13285},
year = {2023}
}