极致规模的从头宏基因组组装
分布式、并行与集群计算
2018-09-20 v1 基因组学
摘要
宏基因组组装是将环境样本中一组短小、重叠且可能出错的DNA片段转化为底层微生物组基因组的准确表示的过程。最先进的工具需要大型共享内存机器，且无法处理规模超过TB级的当代宏基因组数据集。本文中，我们介绍MetaHipMer流水线，这是一种采用迭代de Bruijn图方法的高质量、高性能宏基因组组装器。MetaHipMer利用一种专门的脚手架算法，可生成长脚手架并适应宏基因组的特殊性。MetaHipMer使用Unified Parallel C语言进行端到端并行化，因此可在共享和分布式内存系统上无缝运行。实验结果表明，MetaHipMer在准确性方面匹配或优于最先进工具。此外，MetaHipMer可高效扩展至大并发规模，并能组装此前难以处理的重大挑战级宏基因组。我们通过计算Twitchell Wetlands数据集的首次完整组装展示了MetaHipMer前所未有的能力，该数据集包含75亿条reads，大小为2.6 TBytes。
引用
@article{arxiv.1809.07014,
title = {Extreme Scale De Novo Metagenome Assembly},
author = {Evangelos Georganas and Rob Egan and Steven Hofmeyr and Eugene Goltsman and Bill Arndt and Andrew Tritt and Aydin Buluc and Leonid Oliker and Katherine Yelick},
journal= {arXiv preprint arXiv:1809.07014},
year = {2018}
}
备注
Accepted to SC18