用LSTM网络近似聚合SQL查询
数据库
2021-01-06 v3 人工智能
摘要
尽管对数据技术的持续投入，查询数据的延迟仍构成重大挑战。现代分析解决方案需要近实时响应，既为实现交互性，也为支持自动化处理。当前技术（Hadoop、Spark、Dataflow）扫描数据集以执行查询，侧重于提供可扩展的数据存储以最大化任务执行速度。我们认为这些方案未能提供充分的交互性，因其依赖于对数据的持续访问。本文提出一种查询近似方法，亦称近似查询处理（AQP），其在推断（查询计算）时减少对数据扫描的需求，从而实现快速查询处理工具。我们使用LSTM网络学习查询与其结果间的关系，并提供用于预测查询结果的快速推断层。我们的方法（称为“Hunch”）产生一个轻量级LSTM网络，提供高查询吞吐。我们使用十二个数据集评估该方法，并从查询延迟、模型权重与精度角度与最先进AQP引擎（VerdictDB、BlinkDB）比较。结果显示我们的方法以约1%至4%的归一化均方根误差（NRMSE）预测查询结果，且在多数数据集中优于对比基准。此外，我们的方法每秒可预测多达120,000条查询（一起流式输入），且单条查询延迟不超过2ms。
引用
@article{arxiv.2010.13149,
title = {Approximating Aggregated SQL Queries With LSTM Networks},
author = {Nir Regev and Lior Rokach and Asaf Shabtai},
journal= {arXiv preprint arXiv:2010.13149},
year = {2021}
}
备注
12 pages, 5 figures, ICDE2021