中文

PINS:用于最优传输的稀疏 Newton 与 Sinkhorn 近端迭代

机器学习 2026-05-12 v2 最优化与控制

摘要

最优传输(OT)是机器学习中广泛使用的工具,但为大规模实例计算高精度解仍然成本高昂。熵正则化和 Sinkhorn 算法提高了可扩展性;然而,当正则化参数较小时,Sinkhorn 收敛速度减慢,并且迭代逼近一个熵解,该解与真实 OT 计划之间仍存在一个熵偏差平台。我们引入了 PINS(Proximal Iterations with sparse Newton and Sinkhorn),这是一种旨在超越该平台的双循环求解器。外循环应用熵近端点方法,通过一系列具有偏移成本矩阵的熵子问题来求解原始 OT 问题。每个内部子问题随后通过 Sinkhorn 预热和稀疏 Newton 细化来求解。我们证明了 PINS 全局收敛到非正则化 OT 问题的最优解,并且内部 Hessian 矩阵在每次外迭代中都具有一种与成本矩阵无关的稀疏化结构。在合成和增强 MNIST 实例上,PINS 实现了比停滞在熵偏差平台的 Sinkhorn 类基线低得多的相对成本误差,并且在匹配精度下比具有相同外循环的 Sinkhorn 快 55--73×73\times。在大规模 DOTmark 实例上,与网络单纯形线性规划(LP)求解器相比,流式实现将峰值内存降低了 2424--54%54\%,并且在 LP 求解器失败的单进程内存预算下仍然可行。

关键词

引用

@article{arxiv.2502.03749,
  title  = {PINS: Proximal Iterations with Sparse Newton and Sinkhorn for Optimal Transport},
  author = {Di Wu and Ling Liang and Haizhao Yang},
  journal= {arXiv preprint arXiv:2502.03749},
  year   = {2026}
}