Oseba：大数据处理中选择性批量分析的优化
分布式、并行与集群计算
2017-07-13 v1
摘要
选择性批量分析（例如对时空数据的统计学习）是广泛当代数据分析的基础。然而，随着数据集日益增大（如气象数据与营销交易），在使用当前大数据处理框架（如Spark或键值存储）进行选择性批量数据处理时，数据组织/访问变得更具挑战性。本文提出一种用于优化大数据处理中选择性批量分析的方法，称为Oseba。Oseba在内存中维护一个超级索引以组织数据，从而通过定位每个选择性分析程序所涉及的数据来支持快速查找。与默认数据处理框架相比，Oseba能够节省内存与计算量。
引用
@article{arxiv.1707.03527,
title = {Oseba: Optimization for Selective Bulk Analysis in Big Data Processing},
author = {Rui Wang and Jun Wang},
journal= {arXiv preprint arXiv:1707.03527},
year = {2017}
}