PIQUE:支持按需渐进式富集的渐进集成查询算子
数据库
2019-10-21 v5
摘要
当今以文本、图像、视频和传感器数据形式存在的大数据需要先被富集(即标注标签)才能被有效查询或分析。数据富集(根据应用不同,可能是编译代码、声明式查询或昂贵的机器学习及/或信号处理技术)通常无法在数据摄入时作为预处理步骤一次性完成。在摄入后作为单独的离线步骤富集数据,会使数据在摄入与富集期间无法用于分析。为弥合这一差距,本文探索了一种新方法,在查询处理过程中支持渐进式数据富集,以支撑交互式探索性分析。我们的方法基于集成一个名为 PIQUE 的算子,以支持在查询处理过程中对富集函数进行优先级执行。带有 PIQUE 算子的查询处理在查询过程中答案质量提升的速率方面显著优于基线方法。
引用
@article{arxiv.1805.12033,
title = {PIQUE: Progressive Integrated QUery Operator with Pay-As-You-Go Enrichment},
author = {Dhrubajyoti Ghosh and Roberto Yus and Yasser Altowim and Sharad Mehrotra},
journal= {arXiv preprint arXiv:1805.12033},
year = {2019}
}