真实场景下 GPU 的隐私保护性能分析
硬件体系结构
2025-09-29 v1
摘要
GPU 是当今许多重要应用的主导平台，包括深度学习、加速计算和科学模拟。然而，随着应用和硬件复杂性的增加，GPU 芯片制造商面临着一个重大挑战：如何从部署在真实场景中的 GPU 收集全面的性能特征和价值分析数据。此类数据包括执行的内核类型及其各自花费的时间，对于优化芯片设计和提升应用性能至关重要。遗憾的是，尽管有 NSYS 和 NCU 等低级工具可用，但目前的方法仍存在不足，仅能在单用户基础上提供数据收集能力，而无法在更广泛、信息量更大的全机队规模上进行。本文着手解决实现一个系统的问题，该系统允许对低级硬件特征进行全球规模的实时 GPU 性能分析。我们解决的三个基本问题是：i) 在实现这一目标时不降低用户体验；ii) 保护用户隐私，使得任何第三方都无法知道任何用户运行了什么应用程序；iii) 有效性，表明即使在数千个 GPU 上运行，我们也能够收集数据并将其分配给应用程序。我们的结果模拟了一个包含 100,000 个 GPU 的部署环境，运行 Torchbench 套件中的应用程序，表明我们的系统解决了所有这三个问题。
引用
@article{arxiv.2509.21762,
title = {Privacy-Preserving Performance Profiling of In-The-Wild GPUs},
author = {Ian McDougall and Michael Davies and Rahul Chatterjee and Somesh Jha and Karthikeyan Sankaralingam},
journal= {arXiv preprint arXiv:2509.21762},
year = {2025}
}
备注
26 pages, 10 figures