中文

一阶算法求解熵正则最优传输的收敛速率改进

最优化与控制 2023-01-25 v1 机器学习

摘要

本文改进了求解熵正则最优传输的一阶算法的当前最优收敛速率。逼近最优传输(OT)的收敛速率从 O~(n2.5/ϵ)\widetilde{{O}}({n^{2.5}}/{\epsilon}) 提升至 O~(n2/ϵ)\widetilde{{O}}({n^2}/{\epsilon}),其中 nn 为问题规模,ϵ\epsilon 为精度水平。特别地,我们提出了一种带方差缩减的加速原始对偶随机镜像下降算法。这一特殊设计使我们相较于其他加速原始对偶算法提升了速率。我们进一步提出了随机算法的批处理版本,通过并行计算改善了计算性能。作为对比,我们证明了随机 Sinkhorn 算法的计算复杂度为 O~(n2/ϵ2)\widetilde{{O}}({n^2}/{\epsilon^2}),慢于我们的加速原始对偶随机镜像算法。我们使用合成与真实数据进行了实验,结果与我们理论推导的速率相符。我们的算法或可启发更多研究,以开发具有 O~(n2/ϵ)\widetilde{{O}}({n^2}/{\epsilon}) 速率的加速原始对偶算法来求解 OT。

关键词

引用

@article{arxiv.2301.09675,
  title  = {Improved Rate of First Order Algorithms for Entropic Optimal Transport},
  author = {Yiling Luo and Yiling Xie and Xiaoming Huo},
  journal= {arXiv preprint arXiv:2301.09675},
  year   = {2023}
}