一种具有改进算子范数误差率的免参数双比特协方差估计器
机器学习
2024-11-12 v2 信息论
机器学习
math.IT
摘要
Dirksen、Maly 与 Rauhut [Annals of Statistics, 50(6), pp. 3538-3562] 近期提出了一种每元素使用两比特的协方差矩阵估计器。该估计器对一般亚高斯分布达到了近极小极大速率，但也存在两个缺陷：理论上，当其协方差矩阵对角线仅由少数元素主导时，其估计器与样本协方差在算子范数误差上存在本质差距；实践中，其性能严重依赖于抖动尺度，而该尺度需依据某些未知参数进行调优。在本工作中，我们提出了一种新的 2 比特协方差矩阵估计器，同时解决上述两个问题。与 Dirksen 等人采用均匀抖动的符号量化器不同，我们受多比特均匀量化器启发，将三角抖动先验用于 2 比特量化器。通过采用跨元素变化的抖动尺度，我们的估计器享有改进的算子范数误差率，该误差率依赖于底层协方差矩阵的有效秩而非环境维度，从而弥合了理论差距。此外，我们提出的方法消除了对任何调优参数的需求，因为抖动尺度完全由数据决定。我们提供了高斯样本下的实验结果以展示估计器令人印象深刻的数值性能。值得注意的是，通过将抖动尺度减半，我们的估计器通常取得的算子范数误差小于样本协方差误差的两倍。
引用
@article{arxiv.2308.16059,
title = {A Parameter-Free Two-Bit Covariance Estimator with Improved Operator Norm Error Rate},
author = {Junren Chen and Michael K. Ng},
journal= {arXiv preprint arXiv:2308.16059},
year = {2024}
}
备注
Major changes. In particular, we further adapt our method to online settings (see Section 5)