图上基于$\ell_p$的半监督学习的分析与算法

本文讨论半监督学习中基于 $\ell_p$ 的拉普拉斯正则化的理论与应用。对于 $p>2$ 的图 $p$-拉普拉斯最近被提出，用以替代标准（$p=2$）图拉普拉斯，用于标签极少且拉普拉斯学习退化的半监督学习问题。论文第一部分，我们证明了 $k$ 近邻（$k$-NN）图上 $p$-拉普拉斯问题的新离散到连续收敛结果，这类图比随机几何图在实践中更常用。我们的分析表明，在 $k$-NN 图上，$p$-拉普拉斯在 $p\to \infty$ 时保留数据分布信息，且Lipschitz学习（$p=\infty$）对数据分布敏感。此情形可与随机几何图对比，后者中 $p$-拉普拉斯在 $p\to \infty$ 时遗忘数据分布。我们还提出了一个证明图学习中离散到连续收敛结果的通用框架，仅需逐点一致性与单调性。论文第二部分，我们开发了用于求解 $p>2$ 时加权图上变分与博弈论 $p$-拉普拉斯方程的快速算法。我们给出了两种公式的若干高效可扩展算法，并在合成数据上给出表明其收敛性质的数值结果。最后，我们在MNIST、FashionMNIST和EMNIST数据集上进行了大量数值实验，说明了 $p$-拉普拉斯公式在少标签半监督学习中的有效性。特别地，我们发现Lipschitz学习（$p=\infty$）在 $k$-NN 图上少标签时表现良好，这从实验上验证了我们的理论发现：Lipschitz学习在 $k$-NN 图上保留数据分布（无标签数据）信息。