中文

评估最近邻分类的统一加权框架

机器学习 2025-06-06 v3 机器学习

摘要

我们提出了对经典最近邻 (NN)、模糊最近邻 (FNN) 与模糊粗糙最近邻 (FRNN) 分类的首次全面大规模评估。我们用核函数标准化了现有关于最近邻加权的方案,应用于测试实例最近邻的距离值和/或秩。特别地,我们证明理论上最优的 Samworth 权重收敛于一个核。核函数与模糊否定算子密切相关,我们基于 Yager 否定提出了一种新的核。我们还考虑了各种距离与缩放度量,并证明它们彼此可相关联。通过对 85 个真实分类数据集的系统性系列实验,我们发现 NN、FNN 与 FRNN 均在使用 Boscovich 距离时表现最佳,且 NN 与 FRNN 在使用 Samworth 秩权重与距离权重组合并以中位数周围平均绝对偏差 (r1r_1)、标准差 (r2r_2) 或半四分位距 (rr_{\infty}^*) 缩放时表现最佳,而 FNN 仅在使用 Samworth 距离权重与 r1r_1- 或 r2r_2-缩放时表现最佳。然而,NN 使用 Yager-12\frac{1}{2} 距离权重取得了可比性能,其比 Samworth 距离与秩权重组合更易于实现。最后,FRNN 通常优于 NN,而 NN 又系统性地优于 FNN。

关键词

引用

@article{arxiv.2311.16872,
  title  = {A unified weighting framework for evaluating nearest neighbour classification},
  author = {Oliver Urs Lenz and Henri Bollaert and Chris Cornelis},
  journal= {arXiv preprint arXiv:2311.16872},
  year   = {2025}
}