随机核矩阵的谱范数及其在隐私保护中的应用

核方法是一套极其流行的技术，用于许多重要的机器学习和数据分析应用。除了具有良好的实际性能外，这些方法还拥有完善的理论支持。核方法利用核函数将输入数据隐式映射到高维特征空间，即该函数返回特征空间中两个数据点像的内积。任何核方法的核心都是核矩阵，它是通过对给定样本数据集评估核函数构建而成的。在本文中，我们启动了随机核矩阵非渐近谱理论的研究。这些是 $n \times n$ 随机矩阵，其 $(i,j)$ 项是通过在 $x_i$ 和 $x_j$ 上评估核函数获得的，其中 $x_1,...,x_n$ 是一组 $n$ 个独立的高维随机向量。我们的主要贡献是基于多项式和高斯径向基等常用核函数构建的随机核矩阵，获得了其谱范数 (最大特征值) 的紧上界。作为这些结果的应用，我们提供了在属性隐私下释放核岭回归系数所需的失真下界，属性隐私是一个涵盖了大量隐私定义的通用隐私概念。核岭回归是一种执行非参数回归的标准方法，在各个领域通常优于传统回归方法。我们的隐私失真下界是针对任何核技术的首次提出，且我们的分析假设了现实的输入场景，这与以往仅适用于非常严格输入设置的其他释放问题的下界不同。