Mystique：实现准确且可扩展的生产级AI基准生成
分布式、并行与集群计算
2023-04-13 v3 人工智能
摘要
构建大型AI集群以支撑快速增长的深度学习(DL)工作负载，是现代云服务商积极研究的话题。生成准确的基准在该领域快速迭代的软硬件方案设计中起着至关重要的作用。实现可扩展性的两个基本挑战是：(i) 工作负载代表性，以及 (ii) 快速将集群变更纳入基准的能力。为克服这些问题，我们提出Mystique，一个准确且可扩展的生产级AI基准生成框架。它利用PyTorch执行轨迹(ET)这一新特性，以图格式捕获算子粒度的AI模型运行时信息及其元数据。通过采集集群ET，我们可以构建可移植且具有代表性的AI基准。Mystique具有可扩展性，因其轻量数据采集在运行时开销与插桩工作量上均很低；它还具有适应性，因为ET的可组合性允许对基准创建进行灵活控制。我们在多个生产级AI模型上评估了该方法，表明由Mystique生成的基准在的执行时间与系统级指标上均与原AI模型高度相似。我们还展示了生成基准跨平台的便携性，并演示了由执行轨迹细粒度可组合性所支持的若干用例。
引用
@article{arxiv.2301.04122,
title = {Mystique: Enabling Accurate and Scalable Generation of Production AI Benchmarks},
author = {Mingyu Liang and Wenyin Fu and Louis Feng and Zhongyi Lin and Pavani Panakanti and Shengbao Zheng and Srinivas Sridharan and Christina Delimitrou},
journal= {arXiv preprint arXiv:2301.04122},
year = {2023}
}
备注
Accepted to ISCA 2023