高维岭正则化经验风险最小化的基本极限
机器学习
2020-07-07 v2 信息论
机器学习
信号处理
math.IT
摘要
经验风险最小化（Empirical Risk Minimization, ERM）算法广泛用于信号处理与机器学习应用中的多种估计与预测任务。尽管其流行，一个能解释其在测量数与未知参数数均很大的现代 regime 下统计性质的理论直到最近才出现。本文首次刻画了高维广义线性模型中用于推断的凸 ERM 在统计精度上的基本极限。对于高斯特征且问题维度以成比例速率增长的理想化设定，我们从尖锐的性能刻画出发，进而推导出在宽泛损失函数类及任意正则化参数值下均成立的估计与预测误差紧下界。我们精确的分析具有若干特性。首先，它给出了最优调节损失函数与正则化参数的方法。其次，它得以精确量化流行启发式选择的次优性：例如，我们表明最优调节的最小二乘对标准 logistic 数据（或许令人惊讶地）近似最优，但次优性差距随信号强度增大而急剧增长。第三，我们利用这些下界作为过参数化比率的函数精确评估岭正则化的益处。值得注意的是，我们的下界用随机变量的 Fisher 信息表达，这些变量是数据分布简单函数的函数，从而与经典统计中的相应下界建立联系。
引用
@article{arxiv.2006.08917,
title = {Fundamental Limits of Ridge-Regularized Empirical Risk Minimization in High Dimensions},
author = {Hossein Taheri and Ramtin Pedarsani and Christos Thrampoulidis},
journal= {arXiv preprint arXiv:2006.08917},
year = {2020}
}