双侧最近邻:一种自适应且极小化最优的矩阵补全方法
机器学习
2025-09-03 v2 机器学习
统计理论
统计方法学
统计理论
摘要
最近邻(Nearest Neighbor, NN)算法已被广泛用于推荐系统和序贯决策系统中的缺失数据问题。先前的理论分析已经确立了当底层数据足够平滑且缺失概率有下界时 NN 的良好保证。在此,我们分析了具有大量缺失的非平滑非线性函数的 NN。特别地,我们考虑矩阵补全设置,其中底层矩阵的条目遵循潜在非线性因子模型,其非线性属于比 Lipschitz 平滑度更低的 Hölder 函数类。我们的结果为合适的双侧 NN 确立了以下良好特性:(1) NN 的均方误差(MSE)能够自适应非线性的平滑度;(2) 在某些正则性条件下,NN 的误差率与配备了行和列潜在因子知识的预言机所获得的速率相匹配;最后 (3) 即使在多个矩阵条目可能被确定性缺失的情况下,NN 的 MSE 在广泛设置下仍具有非平凡性。我们通过广泛的数值模拟以及使用移动健康研究 HeartSteps 数据的案例研究支持了我们的理论发现。
引用
@article{arxiv.2411.12965,
title = {Two-Sided Nearest Neighbors: An adaptive and minimax optimal procedure for matrix completion},
author = {Tathagata Sadhukhan and Manit Paul and Raaz Dwivedi},
journal= {arXiv preprint arXiv:2411.12965},
year = {2025}
}
备注
40 pages, 14 figures