中文

带有 Sobolev 预算的 Monge-Kantorovich 拟合

机器学习 2025-04-01 v2 偏微分方程分析

摘要

给定 m<nm < n,我们考虑通过一个 mm 维测度 ν\nu “最佳”逼近 nn 维概率测度 ρ\rho 的问题,使得 supp ν\mathrm{supp}\ \nu 具有有界的总“复杂度”。当 ρ\rho 集中在某个 mm 维集合附近时,我们可以将其视为带有噪声数据的流形学习问题。然而,我们并不将分析局限于这种情况,因为更一般的表述具有更广泛的应用。我们通过 Monge-Kantorovich(亦称 Wasserstein)pp-代价 Wpp(ρ,ν)\mathbb{W}_p^p(\rho, \nu) 来量化 ν\nu 逼近 ρ\rho 的性能,并通过要求 supp ν\mathrm{supp}\ \nu 能被一个 Wk,qW^{k,q} Sobolev 范数以 0\ell \geq 0 为界的函数 f:RmRnf : \mathbb{R}^{m} \to \mathbb{R}^{n} 所覆盖来约束其复杂度。这使我们能够将该问题重新表述为在 Sobolev “预算” \ell 下最小化泛函 Jp(f)\mathscr J_p(f)。当 m=1,k=1m=1, k = 1 时,该问题与带长度约束的主曲线密切相关(但有所不同);当 k>1k > 1 时,则类似于平滑样条的无监督类比。高阶可微性条件带来了新的挑战。我们研究了 Jp\mathscr J_p 的“梯度”,该梯度由我们称之为重心场的特定向量场给出,并利用它证明了一个非平凡的(几乎)严格单调性结果。我们还提供了一种自然的离散化格式并证明了其一致性。我们将该格式作为生成学习任务的玩具模型,并通过类比,为正则化在改善训练中的作用提出了新颖的解释。

关键词

引用

@article{arxiv.2409.16541,
  title  = {Monge-Kantorovich Fitting With Sobolev Budgets},
  author = {Forest Kobayashi and Jonathan Hayase and Young-Heon Kim},
  journal= {arXiv preprint arXiv:2409.16541},
  year   = {2025}
}

备注

Expanded abstract and {\S}6; added conclusion ({\S}7); minor correction to implementation of constraint gradient in {\S}5.3.2; removed unused references; misc typo corrections. 69 pages, 51 pages without figures