无标签数据流中基于学习的频率估计算术技术剖析
机器学习
2026-03-26 v6 数据库
摘要
在诸多领域，如数据库和网络测量中，估计高流量、快速数据流中项目的频率是一个被广泛研究的课题。传统 sketch 方法仅在严格的内存限制下提供粗糙估计。虽然近期涌现出一些学习增强方法，但它们通常依赖于真实频率或标签的离线训练，而这些往往不可得。此外，这些方法还受限于更新速度慢，限制了其在实时处理场景下的适用性，尽管仅能提供有限的精度提升。为克服这些挑战，我们提出了 UCL-sketch，这是一种实用的基于学习的 per-key 频率估计范式。我们的设计引入了两项关键创新：（i）基于等效学习的在线训练机制无需真实标签（GT），（ii）利用逻辑结构估计桶实现高度可扩展的架构，适用于真实世界数据流。UCL-sketch 采用压缩感知（CS）技术，收敛于一个在保证错误界限远低于先前方法的前提下，仍能保持处理速度的估计器。广泛的实验在真实数据集和合成数据集上表明，我们的方法在 per-key 准确性和分布方面均优于以前的方法。值得注意的是，在极其紧凑的内存预算下，其质量几乎接近（不可实现的）全知者的预期。此外，与现有的基于方程的 sketch 方法相比，UCL-sketch 实现了接近 500 倍的平均解码加速。为帮助进一步的研究与开发，我们的代码已公开于 https://github.com/Y-debug-sys/UCL-sketch。
关键词
引用
@article{arxiv.2412.03611,
title = {Learning-based Sketches for Frequency Estimation in Data Streams without Ground Truth},
author = {Xinyu Yuan and Yan Qiao and Meng Li and Zhenchun Wei and Cuiying Feng and Zonghui Wang and Wenzhi Chen},
journal= {arXiv preprint arXiv:2412.03611},
year = {2026}
}
备注
Accepted as a regular paper at IEEE TKDE