一种用于从草图数据恢复频率的平滑贝叶斯方法

我们为计算机科学与信息论交叉的一个经典问题提供了新颖的统计视角：仅利用通过随机哈希获得的压缩表示（或草图）来恢复大型离散数据集中某符号的经验频率。偏离传统算法方法，近期工作提出了贝叶斯非参数（BNP）方法，其通过利用关于草图数据分布的建模假设，可提供更丰富的频率估计。本文受现有BNP方法启发，提出一种平滑贝叶斯方法，但在频率论框架下设计，以克服BNP方法在处理来自现实分布（包括具有幂律尾行为的分布）的大规模数据时的计算局限。对于用单一哈希函数获得的草图，我们的方法得到严格频率论性质的支持，包括在无偏性及在直观线性估计类内基于平方误差损失函数的最优性。对于多哈希函数的草图，我们引入一种基于多视图学习的方法以构建计算高效的频率估计量。我们在合成与真实数据上验证本方法，并将其性能与现有替代方案比较。