随机扰动下最近邻算法的预测能力
机器学习
2020-02-14 v1 机器学习
摘要
我们考虑经典 最近邻 (-NN) 算法中的一种数据损坏场景，即测试数据被随机扰动。在此场景下，我们仔细刻画了损坏程度对渐近遗憾的影响。特别地，我们的理论分析揭示了一种相变现象：当损坏程度 低于某一临界阶（即小- regime）时，渐近遗憾保持不变；当其超过该阶（即大- regime）时，渐近遗憾以多项式方式恶化。令人惊讶的是，我们得到一个负面结果：经典的加噪注入方法在大- regime 的起始阶段无助于改善测试性能，即使在渐近遗憾的乘法常数层面也是如此。作为一个技术副产品，我们证明了在不同模型假设下，\cite{xue2017achieving} 中提出的预处理 1-NN 在数据维度 时至多达到次优速率，即便在预处理步骤中最优地选择 。
引用
@article{arxiv.2002.05304,
title = {Predictive Power of Nearest Neighbors Algorithm under Random Perturbation},
author = {Yue Xing and Qifan Song and Guang Cheng},
journal= {arXiv preprint arXiv:2002.05304},
year = {2020}
}