一种用于自调整直方图的学习框架
数据库
2011-12-05 v2 机器学习
摘要
在本文中，我们考虑了使用查询工作负载估计自调整直方图的问题。为此，我们提出了一种通用的学习理论公式。具体而言，我们将来自工作负载的查询反馈作为训练数据，以估计具有较小内存占用且能最小化未来查询预期误差的直方图。我们的公式提供了一个框架，可以在其中研究和开发不同的方法。我们首先研究简单的等宽直方图类，并提出一种学习算法 EquiHist，该算法在许多场景下具有竞争力。我们还为等宽直方图提供了形式化保证，突出了等宽直方图可能成功或失败的场景。然后，我们超越等宽直方图，提出了一种用于估计一般直方图的新型学习算法 SpHist。这里我们使用 Haar 小波将学习直方图的问题简化为学习稀疏向量的问题。这两种算法相比现有方法具有多重优势：1）对多维数据的简单且可扩展的扩展；2）随直方图桶数和查询反馈规模的可扩展性；3）结合新反馈和处理数据库更新的自然扩展。我们通过对真实数据和合成数据的详细实验，展示了这些优于当前最先进方法 ISOMER 的优势。特别地，我们表明在真实的多维数据集上，SpHist 的误差比 ISOMER 低达 50%。
引用
@article{arxiv.1111.7295,
title = {A Learning Framework for Self-Tuning Histograms},
author = {Raajay Viswanathan and Prateek Jain and Srivatsan Laxman and Arvind Arasu},
journal= {arXiv preprint arXiv:1111.7295},
year = {2011}
}
备注
Submitted to VLDB-2012