一种面向 GPU 的高效 Hessian 与 Hessian-向量积计算的 AD 库
分布式、并行与集群计算
2024-10-31 v1
摘要
Hessian 向量积计算在诸多科学应用中都有出现，如优化和有限元建模。通常需要在许多数据点上并行计算 Hessian 向量积。我们提出一种基于自动微分（AD）的方法 CHESSFAD（Chunked HESSian using Forward-mode AD），旨在高效并行计算 Hessian 和 Hessian-向量积。CHESSFAD 使用前向模式计算二阶导数，并在可被利用的加速器（如 NVIDIA GPU）上暴露不同层次的并行性。在 CHESSFAD 方法中，Hessian 矩阵一行的计算与其他行的计算相互独立。因此，Hessian 矩阵的各行可以并行计算。第二级并行性源于 CHESSFAD 方法将 Hessian 行的计算划分为多个块，其中不同的块可并行计算。CHESSFAD 以轻量级基于头文件的 C++ 库形式实现，既可在 CPU 上运行，也可在 GPU 上运行。我们对 CHESSFAD 在一组标准测试函数上执行大量独立 Hessian-向量积的性能进行评估，并将其性能与其他现有的基于头文件的 C++ 库（如 {\tt autodiff}）进行比较。我们的结果表明，CHESSFAD 在所有这些函数上均优于 {\tt autodiff}，平均提升幅度为 5-50%。
关键词
引用
@article{arxiv.2410.22575,
title = {An AD based library for Efficient Hessian and Hessian-Vector Product Computation on GPU},
author = {Desh Ranjan and Mohammad Zubair},
journal= {arXiv preprint arXiv:2410.22575},
year = {2024}
}