一种用于 CPU-GPU 统一内存中超额订阅管理的智能框架
分布式、并行与集群计算
2023-02-15 v1
摘要
本文提出一种用于 CPU-GPU 统一虚拟内存（UVM）中超额订阅管理的新型智能框架。我们分析了当前基于规则的 GPU 内存统一内存超额订阅方法，以及其他计算机体系结构组件的当前基于学习的方法。随后我们确定了现有基于规则的方法与理论上界之间的性能差距。我们也明确了应用机器智能的优势以及现有基于学习方法的局限性。本文提出一种用于 CPU-GPU UVM 中超额订阅管理的新型智能框架。它由一个访问模式分类器以及其后使用新颖损失函数以减少页面颠簸的、针对特定模式的基于 Transformer 的模型组成。设计了一个策略引擎以利用模型结果执行准确的页面预取与预驱逐。我们在一组来自流行基准测试套件的 11 个内存密集型基准程序上评估了我们的智能框架。我们的方案优于最先进的（SOTA）超额订阅管理方法，在 125% 内存超额订阅下相比基线将颠簸页面数减少了 64.4%，而 SOTA 方法仅减少 17.3%。我们的方案在 125% 内存超额订阅下实现平均 IPC 提升 1.52 倍，在 150% 内存超额订阅下实现平均 IPC 提升 3.66 倍。我们的方案优于现有的用于页面地址预测的基于学习的方法，在单个 GPGPU 工作负载上平均将 top-1 准确率提升 6.45%（最高 41.2%），在多个并发 GPGPU 工作负载上平均提升 10.2%（最高 30.2%）。
引用
@article{arxiv.2204.02974,
title = {An Intelligent Framework for Oversubscription Management in CPU-GPU Unified Memory},
author = {Xinjian Long and Xiangyang Gong and Huiyang Zhou},
journal= {arXiv preprint arXiv:2204.02974},
year = {2023}
}
备注
arXiv admin note: text overlap with arXiv:2203.12672