关于带拉普拉斯先验的指数加权聚合
统计理论
2016-11-28 v1 机器学习
统计理论
摘要
在本文中，我们研究了在固定设计高维回归问题中指数加权聚合（EWA）的统计行为。在底层回归向量为稀疏的假设下，使用拉普拉斯分布作为先验是合理的。由此得到的估计量，特别是其一个被称为贝叶斯 lasso 的特定实例，已因计算便利而被统计文献使用，尽管尚未对其统计性质进行彻底的数学分析。本工作通过为带拉普拉斯先验的 EWA 建立尖锐 oracle 不等式填补了这一空白。这些不等式表明，如果温度参数较小，只要估计质量由预测损失衡量，带拉普拉斯先验的 EWA 就满足与 lasso 估计量相同类型的 oracle 不等式。我们还考虑了将所提方法推广到具有低秩矩阵的预测问题。
引用
@article{arxiv.1611.08483,
title = {On the Exponentially Weighted Aggregate with the Laplace Prior},
author = {Arnak S. Dalalyan and Edwin Grappin and Quentin Paris},
journal= {arXiv preprint arXiv:1611.08483},
year = {2016}
}
备注
30 pages, 2 figures