通过聚合实现统计推断中的快速学习率
统计理论
2008-03-04 v2 统计理论
摘要
我们针对一般学习任务发展了极小极大最优风险界，该任务旨在预测得与参考集 G 中最佳函数一样好，至多相差一个最小的附加项，称为收敛率。当参考集有限且 n 表示训练数据规模时，我们给出形如 C ([log |G|]/n)^v 的极小极大收敛率，其中正常数 C 被紧估计，且指数 v 精确取值于 ]0;1]，其后一取值依赖于损失函数的凸性与输出分布中的噪声水平。风险上界基于一种序贯随机化算法，该算法在每步集中于相对于前一步预测函数同时具有低风险与低方差的函数。我们的分析揭示了概率观点与最坏情形观点之间的联系，并使得获得用标准统计学习途径无法达到的风险界成为可能。本工作的关键思想之一是使用关于预测函数空间上适当（Gibbs）分布的概率不等式，而非关于生成数据的分布使用它们。风险下界基于 Assouad 引理的精细化，特别考虑了损失函数的性质。我们用以阐明上下界的关键例子是考察 L_q-回归情形，对此给出了当 q 遍历 [1;+infinity[ 时收敛率的详尽分析。
引用
@article{arxiv.math/0703854,
title = {Fast learning rates in statistical inference through aggregation},
author = {Jean-Yves Audibert},
journal= {arXiv preprint arXiv:math/0703854},
year = {2008}
}