中文

低标注率下图拉普拉斯半监督学习的收敛速率

统计理论 2020-06-05 v1 机器学习 机器学习 统计理论

摘要

我们研究低标注率下的基于图的拉普拉斯半监督学习。拉普拉斯学习利用图上的调和扩展来传播标签。在极低标注率下,拉普拉斯学习变得退化,解在每個标注数据点处近似为常数并出现尖峰。先前工作表明,当标注数据点数有限而未标注数据点数趋于无穷时会发生这种退化。本工作中我们允许标注数据点数随标签数增长至无穷。我们的结果表明,对于尺度参数 ε>0\varepsilon>0、标注率 β>0\beta>0 的随机几何图,若 βε2\beta \ll\varepsilon^2 则解退化并形成尖峰,若 βε2\beta\gg \varepsilon^2 则拉普拉斯学习适定且与连续拉普拉斯方程一致。此外,在适定情形下,我们证明了离散问题与连续 PDE 解之间差异的定量误差估计为 O(εβ1/2)O(\varepsilon\beta^{-1/2})(至多相差对数因子)。我们还研究了 pp-拉普拉斯正则化,并给出当 βεp\beta \ll \varepsilon^p 时同样的退化结果。我们适定性结果的证明使用了拉普拉斯学习的随机游走解释与 PDE 论证,而不适定性结果的证明使用了变分法中的 Γ\Gamma-收敛工具。我们还给出了合成与真实数据上的数值结果以说明我们的结论。

关键词

引用

@article{arxiv.2006.02765,
  title  = {Rates of Convergence for Laplacian Semi-Supervised Learning with Low Labeling Rates},
  author = {Jeff Calder and Dejan Slepčev and Matthew Thorpe},
  journal= {arXiv preprint arXiv:2006.02765},
  year   = {2020}
}