SparkGOR：面向基因组数据分析的统一框架
数据库
2020-09-02 v1
摘要
动机：我们的目标是将 Spark 与 GOR 的能力结合到单一计算框架中，用于大规模基因组数据分析。结果：我们创建了一个关系查询引擎，将 SparkSQL 与 GORpipe 统一为单一的声明式查询框架。这是通过允许将 SQL 表达式嵌入 GOR 的高级关系语句语法中，并支持 SQL 内的虚拟关系与嵌套 GORpipe 表达式来实现的。此外，我们构建了驱动程序以使 Spark 和 GOR 能够使用并利用它们偏好的文件格式（分别为 Parquet 和 GORZ），并引入了 API 以允许 GOR 与 Spark 数据框配合使用。可用性：GORpipe 软件的 SparkGOR 版本是开源的，可在 https://gorpipe-website.now.sh 和 https://github.com/gorpipe 免费获取。
引用
@article{arxiv.2009.00061,
title = {SparkGOR: A unified framework for genomic data analysis},
author = {Sigmar K. Stefánsson and Hákon Guðbjartsson},
journal= {arXiv preprint arXiv:2009.00061},
year = {2020}
}