基于 $\ell_p$ 的拉普拉斯正则化在半监督学习中的渐近行为

给定一个具有 $N$ 个顶点的加权图，考虑半监督设定下的实值回归问题，其中观察到 $n$ 个带标签顶点，任务是标记其余顶点。我们在 $d$ 维几何随机图模型下，对基于 $\ell_p$ 的拉普拉斯正则化进行了理论研究。当 $N$ 趋于无穷而 $n$ 保持常数时，我们给出了该正则化学员性能的变分刻画，其相关最优性条件导出了关联函数估计 $\hat{f}$ 必须满足的偏微分方程。由该公式，我们推导了关于 $d$ 维函数 $\hat{f}$ 极限行为的若干预测，包括 (a) 在其平滑性上于阈值 $p = d + 1$ 处的相变，以及 (b) 平滑性与对底层无标签数据分布 $P$ 的敏感性之间的权衡。因此，在 $p \leq d$ 范围内，函数估计 $\hat{f}$ 是退化且“尖刺状”的，而对于 $p\geq d+1$，函数估计 $\hat{f}$ 是平滑的。我们表明底层密度的影响随 $p$ 单调消失，使得在极限 $p = \infty$（对应于所谓的绝对最小 Lipschitz 扩展）时，估计 $\hat{f}$ 独立于分布 $P$。在半监督平滑性假设下，忽略 $P$ 会导致糟糕的统计性能，特别地，我们针对 $d=1$ 构造了一个具体例子，证明 $p=2$ 的风险低于 $p=\infty$，因为前者的惩罚项适应于 $P$ 而后者忽略它。我们还提供了验证有限样本量下预测准确性的仿真。总之，这些性质表明 $p = d+1$ 是一个最优选择，它产生的函数估计 $\hat{f}$ 既平滑又非退化，同时对 $P$ 保持最大敏感性。