用于 SQL 和 ETL 调优的异常检测技术
数据库
2012-03-20 v1
摘要
关系数据库管理系统 (RDBMS) 是联机事务处理 (OLTP) 和联机分析处理 (OLAP) 两类应用的核心。对于这两类应用，每天都有数以千计的用 SQL 表达的查询被执行。所有商业 DBMS 引擎都在系统表中捕获关于这些已执行查询的各种属性。这些查询需要符合最佳实践并进行调优以确保最佳性能。虽然我们使用检查表及强制执行的工具，但并未采用针对查询剖析的黑盒技术——异常检测，来获得摘要层面的理解。这正是本文的动机，因为它不仅指出了系统中内置的低效之处，还有潜力指出不断演变的最佳实践和不恰当的用法。这当然可以减少信息流中的延迟，并优化硬件和软件容量的利用。在本文中，我们首先阐述问题。我们探讨了四种异常检测技术。我们将这些技术应用于丰富的生产查询语料库并分析结果。我们还探讨了集成方法的好处。最后我们总结了未来的行动方向。我们在之前的一项工作中将同样的理念用于优化提取、转换、加载 (ETL) 作业。我们在第四节对此作了简要介绍。
引用
@article{arxiv.1203.4163,
title = {Outlier Detection Techniques for SQL and ETL Tuning},
author = {Saptarsi Goswami and Samiran Ghosh and Amlan Chakrabarti},
journal= {arXiv preprint arXiv:1203.4163},
year = {2012}
}