面向一般非参数回归的集成投影寻踪
统计理论
2023-05-19 v2 统计理论
摘要
投影寻踪回归（PPR）在统计学和机器学习的发展中发挥了重要作用。然而，与随机森林（RF）和支持向量机（SVM）等其他成熟方法相比，PPR 作为一种统计学习技术尚未展现出同等的准确性。本文重新审视了 PPR 的估计过程，提出了一种最优贪心算法以及基于“特征装袋”的集成方法（以下简称 ePPR），旨在提高其有效性。与 RF 相比，ePPR 具有两大主要优势。首先，只要回归函数是 可积的，就可以证明其对更一般的回归函数具有理论一致性，并且能够实现更高的一致性收敛速率。其次，ePPR 不拆分样本，因此 PPR 的每一项均使用全部数据进行估计，使得最小化过程更高效，并保证了估计量的平滑性。基于真实数据集的广泛比较表明，ePPR 在回归和分类任务中比 RF 及其他竞争方法更为高效。ePPR 作为人工神经网络（ANN）的一种变体，其有效性表明：通过适当的统计调参，ANN 在处理中小型数据集时可以媲美甚至超越 RF。这一发现挑战了 ANN 优于 RF 仅限于处理大规模样本量的普遍观念。
引用
@article{arxiv.2210.14467,
title = {Ensemble Projection Pursuit for General Nonparametric Regression},
author = {Haoran Zhan and Mingke Zhang and Yingcun Xia},
journal= {arXiv preprint arXiv:2210.14467},
year = {2023}
}
备注
25 pages