半离散最优传输：基于随机梯度下降和自适应熵正则化的近极小极大估计
机器学习
2024-12-11 v3
摘要
基于最优传输（OT）的距离是机器学习中比较概率测度并使用OT映射操作它们的强大工具。在该领域中，一个感兴趣的设置是半离散OT，其中源测度μ是连续的，而目标ν是离散的。最近的工作表明，当使用来自每个测度的t个独立同分布子样本（双样本设置）时，OT映射的极小极大率为O(t^{-1/2})。一个开放的问题是，当已知离散测度ν的完整信息（单样本设置）时，是否可以实现更好的收敛速度。在这项工作中，我们通过以下方式肯定地回答了这个问题：（i）利用Laguerre细胞估计与密度支撑估计之间的相似性，证明了OT映射的O(t^{-1})下界速率；（ii）提出了一种具有自适应熵正则化和平均加速的随机梯度下降（SGD）算法。为了几乎达到期望的快速速率（非正则参数问题的特征），我们设计了一个随样本数量递减的熵正则化方案。我们算法中的另一个关键步骤是使用投影步骤，该步骤允许利用正则化OT问题的局部强凸性。我们的收敛分析整合了在线凸优化和随机梯度技术，并辅以OT半对偶的特性。此外，在计算和内存效率与普通SGD相当的同时，我们的算法在数值实验中实现了我们理论中不寻常的快速速率。
引用
@article{arxiv.2405.14459,
title = {Semi-Discrete Optimal Transport: Nearly Minimax Estimation With Stochastic Gradient Descent and Adaptive Entropic Regularization},
author = {Ferdinand Genans and Antoine Godichon-Baggioni and François-Xavier Vialard and Olivier Wintenberger},
journal= {arXiv preprint arXiv:2405.14459},
year = {2024}
}
备注
The result where based on Lemma A.1 in arXiv:1812.09150 which is wrong