中文

利用字符串压缩高效构建重复文本的 BWT

数据结构与算法 2023-08-15 v2

摘要

我们提出了一种新的半外部算法,可在线性期望时间内构建 Bauer 等人提出的 Burrows–Wheeler 变换变体(又称 BCR BWT)。当输入规模巨大且具重复性时,我们的方法使用压缩技术来降低计算成本。具体而言,我们基于诱导后缀排序(ISS)构建,并借助游程长度与文法压缩以紧凑形式维护中间结果。我们的压缩格式不仅节省空间,还加速了所需的计算。我们的实验表明,当文本具有重复性时,在空间与计算时间上均有重要节省。在中等规模真实人类基因组组装集合(14.2 GB – 75.05 GB)中,我们的内存峰值平均比最先进的 BCR BWT 构建算法(\texttt{ropebwt2})的峰值小 1.7 倍,同时运行速度快 5 倍。我们当前的实现还能够在 41.21 小时内使用 118.83 GB 工作内存(约为输入大小的 10%)计算出 400 个真实人类基因组组装(1.2 TB)的 BCR BWT。有趣的是,我们在 1.2 TB 文件中报告的结果主要受限于内存约束下扫描巨大文件的困难(具体而言为 I/O 操作)。这一事实表明,通过更细致地实现我们的方法,我们可以表现得更好,从而高效地扩展到更大的规模。

关键词

引用

@article{arxiv.2204.05969,
  title  = {Efficient Construction of the BWT for Repetitive Text Using String Compression},
  author = {Diego Díaz-Domínguez and Gonzalo Navarro},
  journal= {arXiv preprint arXiv:2204.05969},
  year   = {2023}
}

备注

Under peer review