集合结构下的全局经验风险最小化器在一般维度下达到最优收敛速率
统计理论
2021-01-08 v2 统计理论
摘要
熵积分被广泛用作强有力的经验过程工具,以在标准环境(如密度估计与回归)中获得全局经验风险最小化器(ERM)收敛速率的上界。由此得到的收敛速率上界在熵积分收敛时通常匹配极大极小下界,但在其发散时与下界存在严格差距。Birgé和Massart [BM93]给出一个引人注目的例子,表明仅以熵结构而言此差距是真实的:对于具有低正则性的自然Hölder类变体,全局ERM实际以熵积分所预测的速率收敛,该速率明显偏离下界。该反例引发了长期以来对熵积分发散区域使用全局ERM的负面看法,因为在多种模型中启发式地认为它们以次优速率收敛。本文证明,若模型除熵结构外还具有一定程度的“集合结构”,则此差距可被弥合。换言之,此类集合结构模型中的全局ERM确为速率最优的,即便熵积分发散也匹配下界。我们所研究的具集合结构的模型包括(i)图像与边缘估计,(ii)二分类,(iii)多重保序回归,(iv)-凹密度估计,均处于熵积分发散的一般维度。此处集合结构作广义理解:底层模型的复杂度本质上可由经验过程在某一类可测集合上的大小刻画,对此我们给出了匹配的上界与下界,以便推导相关全局ERM的精确收敛速率。
引用
@article{arxiv.1905.12823,
title = {Set structured global empirical risk minimizers are rate optimal in general dimensions},
author = {Qiyang Han},
journal= {arXiv preprint arXiv:1905.12823},
year = {2021}
}
备注
42 pages