利用预言机的高效分位数跟踪
统计方法学
2020-04-28 v1 统计计算
机器学习
摘要
对于增量分位数估计器,步长以及可能的其他调谐参数必须谨慎设定。然而,关于如何在线设定这些取值的关注甚少。本文提出两种解决该问题的新流程。流程的核心部分是估计当前的跟踪均方误差(MSE)。MSE 被分解为跟踪方差与偏差,并给出了估计这些量的新颖且高效的流程。研究表明,估计偏差可通过将其与分位数估计值以下的观测部分相关联来进行跟踪。第一种流程运行 个分位数估计器的集成,调谐参数取值广泛,通常约 。每次迭代中,预言机依据估计的 MSE 指导选出最佳估计。第二种方法仅运行 个估计器的集成,因此运行中的估计器其调谐参数值需不时调整。这些流程具有 的低内存占用以及每次迭代 的计算复杂度。实验表明这些流程高效,且以接近理论最优的误差跟踪分位数。预言机方法表现最佳,但计算代价更高。这些流程进一步应用于海量的推文真实数据流,证明了其实时世界适用性。
引用
@article{arxiv.2004.12588,
title = {Efficient Quantile Tracking Using an Oracle},
author = {Hugo L. Hammer and Anis Yazidi and Michael A. Riegler and Håvard Rue},
journal= {arXiv preprint arXiv:2004.12588},
year = {2020}
}