中文

论部分最优传输:重新审视 Sinkhorn 的不可行性与高效梯度方法

机器学习 2023-12-25 v2 人工智能 最优化与控制

摘要

本文研究了两个至多具有 nn 个支撑点的不平衡测度之间的部分最优传输 (Partial Optimal Transport, POT) 问题及其在颜色迁移或域适应等各种人工智能任务中的应用。因此,在新兴应用中,随着问题规模的不断增大,亟需对 POT 进行快速近似。我们首先从理论和实验上研究了最先进的 POT Sinkhorn 算法的不可行性,该不可行性源于其不兼容的舍入过程,进而降低了其在点云配准等实际应用中的定性能表现。为此,我们提出了一种新的 POT 舍入算法,然后提供了一种可行的 Sinkhorn 过程,其修正后的计算复杂度为 O~(n2/ε4)\mathcal{\widetilde O}(n^2/\varepsilon^4)。我们的舍入算法还允许开发两种一阶方法来近似 POT 问题。第一种算法,自适应原始-对偶加速梯度下降 (Adaptive Primal-Dual Accelerated Gradient Descent, APDAGD),在 O~(n2.5/ε)\mathcal{\widetilde O}(n^{2.5}/\varepsilon) 内找到 POT 问题的 ε\varepsilon-近似解,在 ε\varepsilon 上优于修正后的 Sinkhorn。第二种方法,对偶外推法 (Dual Extrapolation),实现了 O~(n2/ε)\mathcal{\widetilde O}(n^2/\varepsilon) 的计算复杂度,是文献中最优的。我们进一步展示了 POT 相对于标准 OT 的灵活性,以及我们的算法在两个边缘分布不平衡的实际应用中的实用性。

关键词

引用

@article{arxiv.2312.13970,
  title  = {On Partial Optimal Transport: Revising the Infeasibility of Sinkhorn and Efficient Gradient Methods},
  author = {Anh Duc Nguyen and Tuan Dung Nguyen and Quang Minh Nguyen and Hoang H. Nguyen and Lam M. Nguyen and Kim-Chuan Toh},
  journal= {arXiv preprint arXiv:2312.13970},
  year   = {2023}
}

备注

Accepted to AAAI 2024