最优加权最近邻分类器

我们推导了加权最近邻分类器超额风险（遗憾）的渐近展开式。由此找到了渐近最优的非负权重向量，其形式相当简洁。我们证明，该分类器的遗憾与未加权k-最近邻分类器的遗憾之比，渐近地仅依赖于特征向量的维度d，而与底层总体分布无关。当d=4时改进最大，随后随$d\rightarrow\infty$而减小。流行的装袋最近邻分类器也可视为加权最近邻分类器，我们表明其相应权重在d较小时有些次优（特别是当d=1时比未加权k-最近邻分类器更差），但在d较大时接近最优。最后，我们论证，若允许负权重并在更强的光滑性假设下，收敛速度可进一步改善。我们的发现得到了模拟和真实数据集上经验性能比较的支持。