利用 H-STREAM 构建用于查询大数据流与数据历史的解析流水线
分布式、并行与集群计算
2021-08-10 v1
摘要
本文介绍 H-STREAM，一种大数据流/数据处理流水线评估引擎，其将流处理算子作为微服务提出，以支持源自 IoT（物联网）环境的大数据流分析与可视化。H-STREAM 微服务结合了流处理与数据存储技术，并根据产生流的事物数量、其产生流的速率以及可用于在线处理并将其交付给消费者的物理计算资源进行调优。H-STREAM 提供安装于云环境中的流处理与可视化微服务。微服务可被组合以实现特定的流聚合分析流水线即查询。本文给出使用 Microsoft Azure 作为部署环境的实验验证，以测试 H-STREAM 在（i）一项神经科学实验与（ii）运行于 IoT 场上的社交连通性分析场景中应对速度与体量挑战的能力。
引用
@article{arxiv.2108.03485,
title = {Building Analytics Pipelines for Querying Big Streams and Data Histories with H-STREAM},
author = {Genoveva Vargas-Solar and Javier A. Espinosa-Oviedo},
journal= {arXiv preprint arXiv:2108.03485},
year = {2021}
}