面向大数据应用的基于持久内存的有状态无服务器计算
分布式、并行与集群计算
2023-09-11 v2 性能
摘要
函数即服务（FaaS）计算模型近年来增长显著，尤其适用于高度可扩展、事件驱动的应用。FaaS 易于部署且按细粒度计费、成本高效，对大数据应用极具吸引力。然而，无服务器平台的无状态特性在支持有状态、I/O 密集型工作负载时带来重大挑战，例如缺乏对状态化执行、状态共享和函数间通信的原生支持。在本文中，我们探讨了在无服务器平台上执行有状态大数据分析、并利用英特尔傲腾 DC 持久内存（PMEM）等现代存储技术提升函数 I/O 吞吐量的可行性。为此，我们提出 Marvel，一种构建于流行无服务器平台 Apache OpenWhisk 和 Apache Hadoop 之上的端到端架构。Marvel 的主要贡献有两点：（1）通过在内存缓存层维护状态信息，在 OpenWhisk 上实现有状态函数执行；（2）提供对 PMEM 支持的 HDFS 存储的访问以获得更快的 I/O 性能。我们的评估表明，与当前 AWS Lambda 上的 MapReduce 实现相比，Marvel 将大数据应用的总体执行时间最多减少 86.6%。
引用
@article{arxiv.2309.01662,
title = {Towards Persistent Memory based Stateful Serverless Computing for Big Data Applications},
author = {Yuze Li and Kevin Assogba and Abhijit Tripathy and Moiz Arif and M. Mustafa Rafique and Ali R. Butt and Dimitrios Nikolopoulos},
journal= {arXiv preprint arXiv:2309.01662},
year = {2023}
}
备注
Not yet ready to be publicly available