Sinkhorn-Knopp 矩阵缩放算法的更优且更简误差分析

给定一个非负 $n \times m$ 实矩阵 $A$，{\em 矩阵缩放}问题是判定是否可能对行和列进行缩放，使得每一行和每一列的和都等于为其指定的目标值。该问题出现在许多算法应用中，或许最著名的是作为求解线性方程组的预处理步骤。矩阵缩放最自然且如今经典的方法之一是 Sinkhorn-Knopp 算法（也称为 RAS 方法），其中交替缩放所有行或所有列以满足目标值。除了极其简单自然之外，该过程的另一吸引力在于它易于并行化。一个核心问题是理解 Sinkhorn-Knopp 算法的收敛速率。在本文中，我们给出了 Sinkhorn-Knopp 算法的一个初等收敛分析，改进了先前的最佳界。简而言之，我们的方法是给出所需迭代次数的一个简单界，使得当前行和与目标行和之间的 KL 散度降至指定阈值 $\delta$ 以下，然后将 KL 散度与 $\ell_1$ 和 $\ell_2$ 距离联系起来。对于 $\ell_1$，我们可以使用 Pinsker 不等式。对于 $\ell_2$，我们发展了 Pinsker 不等式的一个加强版，文中称为（KL 对 $\ell_1/\ell_2$），其以 $\ell_1$ 和 $\ell_2$ 距离的组合从下方界定 KL 散度。该不等式可能具有独立意义。通过 KL 散度研究 Sinkhorn-Knopp 收敛性的思想并不新颖，且确实已被先前探索。我们的贡献是该方法的一个初等的、自包含的呈现，以及一个有趣的新不等式，其为被广泛研究的 $\ell_2$-误差给出了显著更强的收敛保证。