基于随机投影的最小二乘问题的下界与近最优收缩估计量
最优化与控制
2020-06-16 v1 信息论
math.IT
机器学习
摘要
在这项工作中，我们将使用随机投影的确定性优化视为一个统计估计问题，其中估计量预测与真实解之间的平方距离作为误差度量。在利用高斯草图近似求解大规模最小二乘问题时，我们证明草图解具有以真实解为均值的条件高斯分布。首先，我们针对任何使用高斯草图的估计量推导了带有显式常数的紧最坏情况误差下界，并表明经典草图化是最优无偏估计量。对于有偏估计量，该下界还纳入了关于真实解的先验知识。其次，我们利用 James-Stein 估计量推导了一种使用高斯草图改进的最小二乘解估计量。推导了该估计量期望误差的上界，对于给定的任何数据，该上界均小于经典高斯草图解的误差。当已知真实解的信噪比很小且数据矩阵条件良好时，上界与下界相匹配。经验上，该估计量在模拟和真实数据集上均实现了更小的误差，并且也适用于其他常见草图方法。
引用
@article{arxiv.2006.08160,
title = {Lower Bounds and a Near-Optimal Shrinkage Estimator for Least Squares using Random Projections},
author = {Srivatsan Sridhar and Mert Pilanci and Ayfer Özgür},
journal= {arXiv preprint arXiv:2006.08160},
year = {2020}
}
备注
This work has been submitted to the IEEE Journal on Selected Areas in Information Theory (JSAIT) - Special Issue on Estimation and Inference, and is awaiting review. This document contains 37 pages and 14 figures