面向高性能计算中复杂调优搜索的成本效益型方法：驾驭相互依赖性与高维度
分布式、并行与集群计算
2024-03-14 v1 机器学习
摘要
调优搜索在高性能计算 (HPC) 中至关重要，它致力于解决计算应用中的复杂优化挑战。其复杂性不仅源于对例程内部参数的精细调优，还源于它们之间潜在的相互依赖性，这使得传统的优化方法效率低下。实践者往往面临一个两难困境：要么为每个例程进行独立的调优搜索，从而忽略相互依赖性；要么为所有例程进行资源消耗更大的联合搜索，而不是仔细审视参数与例程之间的相互依赖性。这一决策的驱动因素在于，文献中的一些相互依赖性分析和高维分解技术在 HPC 调优搜索中可能成本过高。我们的方法对这些技术进行了调整和优化，以确保计算可行性，同时最大化实际场景中的性能收益。我们的方法利用成本效益型相互依赖性分析来决定是将多个调优搜索合并为联合搜索，还是进行正交搜索。在具有不同参数相互依赖程度的合成函数上测试表明，我们的方法能高效地探索搜索空间。与基于贝叶斯优化的完全独立或完全联合搜索相比，我们的方法建议了一种独立搜索与合并搜索的优化分解方案，使得最终配置的准确度提高了最多 8%，搜索时间减少了最多 95%。当应用于 GPU 卸载的实时含时密度泛函理论 (RT-TDDFT)——这是一项对现代 HPC 自动调优器构成挑战的计算材料科学应用——时，我们的方法实现了一次有效的调优搜索。其适应性和效率超越了 RT-TDDFT，使其对 HPC 中的相关应用也极具价值。
引用
@article{arxiv.2403.08131,
title = {Cost-Effective Methodology for Complex Tuning Searches in HPC: Navigating Interdependencies and Dimensionality},
author = {Adrian Perez Dieguez and Min Choi and Mahmut Okyay and Mauro Del Ben and Bryan M. Wong and Khaled Z. Ibrahim},
journal= {arXiv preprint arXiv:2403.08131},
year = {2024}
}