面向 Hopsworks 的 Kubernetes 云原生 RStudio
分布式、并行与集群计算
2023-07-19 v1 人工智能
软件工程
摘要
为了充分利用云计算，服务遵循“多租户”架构模型设计，旨在最大化用户间的资源共享。然而，多租户带来了安全性、性能隔离、扩展性和定制化方面的挑战。RStudio server 是一种开源集成开发环境（IDE），可通过网页浏览器访问，用于 R 编程语言。我们提出在数据密集型 AI 平台 Hopsworks 上，遵循多租户模型设计并实现了一种多用户分布式系统，将 RStudio 作为软件即服务（SaaS）提供。我们使用最流行的云原生技术：Docker 和 Kubernetes，来解决多租户环境中存在的性能隔离、安全性和扩展性问题。我们进一步在 RStudio server 实例中实现了安全数据共享，以提供数据隐私并支持 RStudio 用户间协作。我们将系统与 Apache Spark 集成，后者可扩展并处理大数据处理工作负载。此外，我们提供了一个用户界面，用户可在此提供自定义配置并完全控制其自身的 RStudio server 实例。我们的系统在具有四个工作节点的 Google Cloud Platform 集群上进行了测试，每个节点分配了 30GB RAM。该集群上的测试表明，可并发运行 44 个 RStudio 服务器，每个分配 2GB RAM。通过向集群或系统添加更多资源（CPU 和 RAM），我们的系统可横向扩展以潜在支持数百个并发运行的 RStudio 服务器。
引用
@article{arxiv.2307.09132,
title = {Cloud-native RStudio on Kubernetes for Hopsworks},
author = {Gibson Chikafa and Sina Sheikholeslami and Salman Niazi and Jim Dowling and Vladimir Vlassov},
journal= {arXiv preprint arXiv:2307.09132},
year = {2023}
}
备注
8 pages, 4 figures