高维多变量正态分布概率计算的并行近似方法在置信区间检测中的应用
分布式、并行与集群计算
2024-05-27 v1 统计计算
摘要
计算高维多变量正态分布（MVN）概率的统计挑战具有显著潜力，以提高各种应用的性能。计算高维MVN概率的常用方法是分离变量（SOV）算法。该算法因Cholesky分解导致计算复杂度为 O(n^3) 和空间复杂度为 O(n^2)，其中 n 表示MVN问题的维数。本工作提出一种高性能计算框架，允许扩展SOV算法以及随后的置信区间检测算法。该框架利用具有任务基编程模型的并行线性代数算法，以在大规模系统上实现计算过程概率的性能可扩展性。此外，我们通过纳入Tile低秩（TLR）近似技术来增强实现，旨在在不损失必要准确性的情况下降低算法复杂度。为评估我们框架的性能和准确性，我们使用仿真数据和风速数据集进行评估。我们的实现能够在共享和分布内存系统上使用有限精度算术和TLR近似计算处理高维多变量正态（MVN）概率计算。性能结果显示，在不牺牲应用准确性的前提下，我们的TLR近似实现相较于密集参考解实现了最高可达20倍的加速。合成数据和真实数据集的定性结果表明，即便依赖TLR近似执行底层线性代数运算，我们仍能在检测置信区间时保持高准确性。
引用
@article{arxiv.2405.14892,
title = {Parallel Approximations for High-Dimensional Multivariate Normal Probability Computation in Confidence Region Detection Applications},
author = {Xiran Zhang and Sameh Abdulah and Jian Cao and Hatem Ltaief and Ying Sun and Marc G. Genton and David E. Keyes},
journal= {arXiv preprint arXiv:2405.14892},
year = {2024}
}