中文

面向混合云上数据科学 Jupyter 笔记本的上下文感知执行迁移工具

分布式、并行与集群计算 2021-07-02 v1 人工智能

摘要

交互式计算笔记本(如 Jupyter 笔记本)已成为开发和优化数据驱动模型的流行工具。此类笔记本往往或在用户自有机器上执行,或在云环境中执行,两种方法各有缺点与优点。本文提出了一种作为 Jupyter 扩展开发的解决方案,可自动选择哪些单元格以及在何种场景下应将这些单元格迁移到更合适的平台执行。我们描述了如何缩减笔记本的执行状态以减小迁移时间,并探索用户对笔记本的交互模式知识,以确定应迁移哪些单元格块。利用来自地球科学(遥感)、图像识别和手写数字识别(机器学习)的笔记本,我们的实验表明,当考虑用户与笔记本的交互时,笔记本状态缩减高达 55 倍,迁移决策带来高达 3.25 倍的性能提升。

关键词

引用

@article{arxiv.2107.00187,
  title  = {Context-aware Execution Migration Tool for Data Science Jupyter Notebooks on Hybrid Clouds},
  author = {Renato L. F. Cunha and Lucas V. Real and Renan Souza and Bruno Silva and Marco A. S. Netto},
  journal= {arXiv preprint arXiv:2107.00187},
  year   = {2021}
}

备注

10 pages