中文

基于镜像下降与非线性共轭梯度的精确高效最优传输

机器学习 2025-06-04 v4

摘要

我们提出镜像下降最优传输(MDOT),一种通过统一熵正则化最优传输(EOT)中的温度退火与镜像下降技术,以高精度求解离散最优传输(OT)问题的新方法。在该框架下,温度退火产生一系列EOT对偶问题,其解逐渐逼近原始OT问题的解。我们采用GPU并行非线性共轭梯度算法(PNCG)高效求解每个问题,在弱正则化下优于传统的Sinkhorn迭代。此外,我们的研究还揭示,当以类似于MDOT的方式调整停止准则时,Sinkhorn迭代的理论收敛速率可超过现有的非渐近界。我们对MDOT-PNCG的全面消融实验证实其在广泛算法参数下的鲁棒性。在GPU环境下对大小为n=4096n=4096的24个问题集的基准测试表明,无论在挂钟时间还是操作次数上,我们的方法均显著快于包括加速梯度方法和先进Sinkhorn变体在内的一组代表性现有OT求解器,获得高精度可行解。经验收敛速率介于O(n2ε1/4)O(n^2 \varepsilon^{-1/4})O(n2ε1)O(n^2 \varepsilon^{-1})之间,其中ε\varepsilon为最优性间隙。对于高达n=16384n=16384的问题规模,经验运行时间在中等精度下按O(n2)O(n^2)缩放,在高精度下最坏按O(n5/2)O(n^{5/2})缩放。这些发现确立了MDOT-PNCG作为当前OT求解器极具吸引力的替代方案,尤其在具挑战性的弱正则化情形中。

关键词

引用

@article{arxiv.2307.08507,
  title  = {Efficient and Accurate Optimal Transport with Mirror Descent and Conjugate Gradients},
  author = {Mete Kemertas and Allan D. Jepson and Amir-massoud Farahmand},
  journal= {arXiv preprint arXiv:2307.08507},
  year   = {2025}
}

备注

Published in Transactions on Machine Learning Research (TMLR)