S2CE:一种用于挖掘百亿亿次级分布式流数据的混合云边编排器
分布式、并行与集群计算
2020-07-03 v1
摘要
由分布式和异构节点(如物联网及其他设备)生成的数据在体量、速度、多样性和真实性方面的爆炸性增长,持续挑战着大数据处理平台和挖掘技术的最新水平。因此,这揭示了一个迫切需要解决的问题,即弥合预期的百亿亿次级数据生成与从这些数据中提取见解之间日益扩大的鸿沟。为满足这一需求,本文提出了 Stream to Cloud & Edge (S2CE),这是一种首创的、优化的、多云和边缘编排器,易于配置、可扩展且可延伸。S2CE 将支持在混合云和边缘设置上运行的海量和异构数据流上进行机器学习和深度学习,同时提供实用且可扩展处理所需的功能:数据融合与预处理、采样与合成流生成、云和边缘智能资源管理以及分布式处理。
引用
@article{arxiv.2007.01260,
title = {S2CE: A Hybrid Cloud and Edge Orchestrator for Mining Exascale Distributed Streams},
author = {Nicolas Kourtellis and Herodotos Herodotou and Maciej Grzenda and Piotr Wawrzyniak and Albert Bifet},
journal= {arXiv preprint arXiv:2007.01260},
year = {2020}
}
备注
11 pages, 4 figures, 2 tables