一种用于基于核的最优传输的专用半光滑牛顿法
机器学习
2024-02-01 v2 最优化与控制
摘要
基于核的最优传输(OT)估计器提供了一种替代性的函数估计过程,用于从样本解决 OT 问题。近期工作表明,在高维比较概率测度时,这些估计器比插件式(基于线性规划的)OT 估计器在统计上更高效~\citep{Vacher-2021-Dimension}。遗憾的是,该统计优势伴随着极高的计算代价:由于其计算依赖于短步内点法(SSIPM),而该方法在实践中迭代次数很大,这些估计器随样本量 增大迅速变得难以处理。为将这些估计器扩展到更大的 ,我们提出了基于核的 OT 问题的非光滑不动点模型,并证明其可通过专用的半光滑牛顿(SSN)方法高效求解:通过探究问题结构,我们表明在实践中执行一次 SSN 步的每迭代代价可显著降低。我们证明我们的 SSN 方法取得了 的全局收敛速率,以及在标准正则条件下局部二次收敛速率。我们在合成与真实数据集上展示了相对 SSIPM 的显著加速。
引用
@article{arxiv.2310.14087,
title = {A Specialized Semismooth Newton Method for Kernel-Based Optimal Transport},
author = {Tianyi Lin and Marco Cuturi and Michael I. Jordan},
journal= {arXiv preprint arXiv:2310.14087},
year = {2024}
}
备注
Accepted by AISTATS 2024; Fix some inaccuracy in the definition and proof; 24 pages, 36 figures