基于最近邻的梯度估计：尖锐非渐近界及其应用
机器学习
2020-06-29 v1 机器学习
摘要
受从随机优化到通过变量选择的降维等广泛应用的推动，准确估计梯度的问题在统计学和学习理论中至关重要。我们在此考虑经典的回归设置，其中实值平方可积随机变量 在观测到（可能是高维的）随机向量 时，通过预测函数 以均方意义尽可能准确地进行预测，并研究基于最近邻的最优预测函数（回归函数 ）梯度的逐点估计。在经典光滑性条件结合 尾部为亚高斯分布的假设下，我们证明了优于其他估计方法所得结果的 nonasymptotic 界。除建立的新理论结果外，还进行了若干说明性数值实验。后者提供了强有力的经验证据，表明所提出的估计方法在各种涉及梯度估计的统计问题中表现良好，即降维、随机梯度下降优化和量化解耦。
引用
@article{arxiv.2006.15043,
title = {Nearest Neighbour Based Estimates of Gradients: Sharp Nonasymptotic Bounds and Applications},
author = {Guillaume Ausset and Stephan Clémençon and François Portier},
journal= {arXiv preprint arXiv:2006.15043},
year = {2020}
}