回归学习中的聚合
统计理论
2007-06-13 v1 统计理论
摘要
本文研究回归设定下的统计聚合过程。一个动机是存在许多不同的估计方法，导致可能相互竞争的估计量。我们在此考虑三种不同类型的聚合：模型选择(MS)聚合、凸(C)聚合和线性(L)聚合。(MS)的目标是从列表中选出最优的单个估计量；(C)的目标是选出给定估计量的最优凸组合；(L)的目标是选出给定估计量的最优线性组合。我们关注评价这些过程所得估计量的超额风险的收敛速率。我们的方法受Nemirovski(2000)和Tsybakov(2003)近期极小极大结果的启发。存在分别在(MS)、(C)和(L)每种情形下达到最优收敛的竞争性聚合过程。由于这些结果中的界彼此不能直接比较，我们提出一种替代方案。我们证明所有三个最优界都可以通过单一的“通用”聚合过程近似达到。我们提出这样一种过程，它由初始估计量与通过惩罚最小二乘得到的权重相混合构成。考虑了两种不同的惩罚：其中之一与硬阈值技术相关，第二个是数据依赖的 型惩罚。因此，我们的方法既可以得到模型选择支持者也可以得到模型平均倡导者的认可。
引用
@article{arxiv.math/0410214,
title = {Aggregation for Regression Learning},
author = {Florentina Bunea and Alexandre Tsybakov and Marten Wegkamp},
journal= {arXiv preprint arXiv:math/0410214},
year = {2007}
}