赋能并行树搜索应用的快速开发

虚拟天文台将使天文学家能够轻松访问前所未有的海量数据。从这些数据中提取科学知识将越来越需要高效的算法以及并行计算机的算力。几乎所有对大型天文数据集的高效分析都使用树作为其基本数据结构。编写高效的基于树的技术，即使在单处理器计算机上也是一项耗时的任务，在大规模并行平台 (MPP) 上则极其繁琐。大多数在 MPP 上运行的应用程序是模拟代码，因为开发它们的成本被许多研究人员多年使用这一事实所抵消。相比之下，数据分析代码变化更快，通常对个别研究人员是独特的，因此几乎无法复用。因此，当前针对 MPP 的高性能计算开发范式的经济学并不利于数据分析应用程序。为此，我们构建了一个名为 Ntropy 的库，它提供了一种灵活、可扩展且易于使用的方法，用于为串行和并行平台开发基于树的数据分析算法。我们的经验表明，我们的库不仅节省了开发时间，还能提供出色的串行性能和并行可扩展性。此外，Ntropy 使几乎没有或完全没有并行编程经验的天文学家能够轻松地将他们的应用程序扩展到分布式多处理器环境。通过最小化高效且可扩展的数据分析的开发时间，我们实现了在海量数据集上的大规模知识发现。