给定边际分布时如何（几乎）求得最小熵联合概率分布

给定两个离散随机变量 $X$ 和 $Y$，其概率分布分别为 ${\bf p} =(p_1, \ldots , p_n)$ 和 ${\bf q}=(q_1, \ldots , q_m)$，记 ${\cal C}({\bf p}, {\bf q})$ 为 ${\bf p}$ 和 ${\bf q}$ 的所有耦合的集合，即所有以 ${\bf p}$ 和 ${\bf q}$ 为边际分布的二元概率分布的集合。本文研究在 ${\cal C}({\bf p}, {\bf q})$ 中寻找最小熵联合概率分布（等价地，最大化 $X$ 与 $Y$ 之间互信息的联合概率分布）的问题，并讨论若干自然产生此类优化需求的情形。由于该优化问题已知是 NP-hard 的，我们给出一种高效算法，可在 ${\cal C}({\bf p}, {\bf q})$ 中找到熵超过最小可能值至多 1 的联合概率分布，从而提供一种加性近似因子为 1 的近似算法。基于该算法，我们将结果推广到寻找任意 $k\geq 2$ 个离散随机变量 $X_1, \ldots , X_k$ 的最小熵联合分布的问题，且与已知的 $X_1, \ldots , X_k$ 的 $k$ 个边际分布一致。此情形下，我们的近似算法具有 $\log k$ 的加性近似因子。我们还讨论了我们所获结果的一些相关应用。