多元回归中的指数加权与一种偏好低秩的先验
统计理论
2018-06-26 v1 统计理论
摘要
我们针对标签向量为多维时的多元回归情形，即标签向量多维的情形，建立了指数加权聚合器期望预测误差的理论保证。我们考虑具有固定设计与有界噪声的回归模型。我们的保证所揭示的第一个新特征是：无需要求观测独立，仅需噪声分布的对称性条件即可获得尖锐的风险界。这一结果要求回归向量有界。第二个有趣的发现涉及回归向量无界但噪声独立的情况。结果表明，将指数权重应用于经均匀噪声扰动的标签向量，可得到一个满足尖锐 oracle 不等式的估计量。最后的贡献是将所提出的 oracle 不等式具体应用于未知参数为矩阵的问题。我们提出了一种偏好低秩的先验，并证明其在弱假设下导出的估计量是最优的。
引用
@article{arxiv.1806.09405,
title = {Exponential weights in multivariate regression and a low-rankness favoring prior},
author = {Arnak S. Dalalyan},
journal= {arXiv preprint arXiv:1806.09405},
year = {2018}
}