一种用于计算 Wasserstein 重心的快速全局线性收敛算法
最优化与控制
2020-12-29 v5 机器学习
摘要
我们考虑为一组具有有限支撑的离散概率分布计算 Wasserstein 重心的问题，该问题在统计、机器学习和图像处理等领域有诸多应用。当重心的支撑点预先指定时，此问题可建模为一个规模可能极大的线性规划（LP）问题。为处理这一大规模 LP，我们分析其对偶问题的结构，该结构被认为更易于处理，并可重新表述为一个具有 3 类块变量和一个耦合线性等式约束的良好结构凸问题。我们随后采用基于对称 Gauss-Seidel 的乘子交替方向法（sGS-ADMM）来求解所得对偶问题，并建立其全局收敛性和全局线性收敛速率。作为高效计算的关键组成部分，我们还展示了如何精确且高效地求解所有涉及的子问题。这使得我们的方法适用于在大规模数据集上计算 Wasserstein 重心，而无需像通常做法那样引入熵正则项。此外，当重心的支撑点未预先指定时，我们的 sGS-ADMM 可用作交替极小化方法中的子程序来计算重心。在合成数据集和图像数据集上的数值结果表明，与两种现有代表性方法和商业软件 Gurobi 相比，我们的方法在求解大规模 Wasserstein 重心问题方面极具竞争力。
引用
@article{arxiv.1809.04249,
title = {A Fast Globally Linearly Convergent Algorithm for the Computation of Wasserstein Barycenters},
author = {Lei Yang and Jia Li and Defeng Sun and Kim-Chuan Toh},
journal= {arXiv preprint arXiv:1809.04249},
year = {2020}
}