用于创建 AI 特征的列式数据库技术
数据库
2017-12-11 v1 机器学习
摘要
内存列式数据库技术的最新进展提升了针对超大型数据库与数据仓库的分析查询性能。与此同时，人工智能（AI）算法的进步增强了数据分析能力。我们使用 AI 一词涵盖深度学习（DL 或神经网络）与机器学习（ML 亦称大数据 analytics）。对 AI 全栈的探索使我们得出一项跨栈列式数据库创新，可高效地为 AI 分析创建特征。该创新是创建增强字典值（ADVs）以添加到现有列式数据库字典中，从而通过最小化数据移动与数据复制来提高特征化效率。我们展示了各种形式的特征化（特征选择、特征提取与特征创建）如何在列式数据库中高效计算。全栈 AI 研究还使我们提出一种集成的列式数据库与 AI 架构。该架构具有信息流与反馈环，以在从数据源抽取数据、特征化及分析的多次迭代中改进整个分析周期。
引用
@article{arxiv.1712.02882,
title = {Columnar Database Techniques for Creating AI Features},
author = {Brad Carlile and Akiko Marti and Guy Delamarter},
journal= {arXiv preprint arXiv:1712.02882},
year = {2017}
}
备注
7 pages, 2 figures, 5 tables