Notebook即VRE (NaaVRE)：从私有笔记本到协作云虚拟研究环境
分布式、并行与集群计算
2022-05-19 v2
摘要
虚拟研究环境（VRE）在研究活动的生命周期中提供以用户为中心的支持，例如，发现和访问研究资产，或组合和执行应用程序工作流。一个典型的VRE通常被实现为一个集成环境，它包括一个研究资产目录、一个工作流管理系统、一个数据管理框架以及支持用户间协作的工具。像Jupyter这样的笔记本环境允许研究人员快速构建科学代码原型，并将他们的实验作为在线可访问的笔记本进行分享。Jupyter可以支持数据科学家使用的几种流行语言，如Python、R和Julia。然而，这样的笔记本环境并没有无缝支持在远程基础设施上运行繁重计算，或在笔记本内部查找和访问软件代码。本文研究了笔记本环境与VRE之间的差距，并为Jupyter环境提出了一种名为Notebook-as-a-VRE (NaaVRE) 的嵌入式VRE解决方案。NaaVRE解决方案通过组件市场提供功能组件，并允许用户在Jupyter环境之上创建自定义的VRE。从VRE中，用户可以搜索研究资产（数据、软件和算法），编写工作流，管理实验的生命周期，并在社区用户之间共享结果。我们展示了这样的解决方案如何增强一个遗留工作流，该工作流使用来自全国范围机载激光扫描调查的激光雷达（LiDAR）数据，以高分辨率在广阔空间范围内推导生态系统结构的地理空间数据产品。这使得用户能够将用于生态应用的多TB级LiDAR点云处理扩展到分布式云环境中的更多数据源。
引用
@article{arxiv.2111.12785,
title = {Notebook-as-a-VRE (NaaVRE): from private notebooks to a collaborative cloud virtual research environment},
author = {Zhiming Zhao and Spiros Koulouzis and Riccardo Bianchi and Siamak Farshidi and Zeshun Shi and Ruyue Xin and Yuandou Wang and Na Li and Yifang Shi and Joris Timmermans and W. Daniel Kissling},
journal= {arXiv preprint arXiv:2111.12785},
year = {2022}
}
备注
A revised version has been published in the journal software practice and experience