基于高斯 Copula 的迁移学习自动调优
机器学习
2024-01-10 v1
摘要
随着多样化高性能计算（HPC）系统的构建，应用解决前所未有大规模问题的机会不断涌现。鉴于这些 HPC 系统和应用调优的复杂性显著增加，经验性能调优（如自动调优）近年来已成为一种颇具前景的方法。尽管自动调优行之有效，但其计算开销通常很高。基于迁移学习（TL）的自动调优旨在通过利用先前调优的数据来解决这一问题。当前的自动调优 TL 方法花费大量时间建模参数配置与性能之间的关系，这对于新任务上的少样本（即少量经验评估）调优效率低下。我们引入了首个基于高斯 copula（GC）的生成式 TL 自动调优方法，从先前数据中建模搜索空间的高性能区域，然后为新任务生成高性能配置。这使得基于采样的方法能够最大化少样本性能，并首次为有效的基于 TL 的自动调优提供了少样本预算的概率估计。我们在多个基准上比较了我们的生成式 TL 方法与最先进的自动调优技术。我们发现，GC 能够在首次评估中达到 64.37% 的峰值少样本性能。此外，GC 模型可以确定一个少样本迁移预算，实现高达 33.39 的加速，相比先前技术的 20.58 加速有显著提升。
引用
@article{arxiv.2401.04669,
title = {Transfer-Learning-Based Autotuning Using Gaussian Copula},
author = {Thomas Randall and Jaehoon Koo and Brice Videau and Michael Kruse and Xingfu Wu and Paul Hovland and Mary Hall and Rong Ge and Prasanna Balaprakash},
journal= {arXiv preprint arXiv:2401.04669},
year = {2024}
}
备注
13 pages, 5 figures, 7 tables, the definitive version of this work is published in the Proceedings of the ACM International Conference on Supercomputing 2023, available at https://dl.acm.org/doi/10.1145/3577193.3593712