TorchBench：具有高 API 覆盖率的 PyTorch 基准测试套件
机器学习
2023-06-27 v3 人工智能
性能
摘要
深度学习(DL)已成为各领域的一项革命性技术。为便利模型开发与部署，许多深度学习框架被提出，其中 PyTorch 是最流行的方案之一。PyTorch 周边生态的性能至关重要，其可节省模型训练成本并降低模型推理的响应时间。本文提出 TorchBench，一种用于研究 PyTorch 软件栈性能的新型基准测试套件。与现有基准测试套件不同，TorchBench 包含许多代表性模型，覆盖了大量 PyTorch API 表面。TorchBench 能够全面刻画 PyTorch 软件栈的性能，指导跨模型、PyTorch 框架与 GPU 库的性能优化。我们展示了 TorchBench 的两个实际用例。（1）我们对 TorchBench 进行性能剖析以识别 PyTorch 中的 GPU 性能低效问题。我们得以优化诸多性能缺陷并向官方 PyTorch 代码库提交补丁。（2）我们将 TorchBench 集成至 PyTorch 持续集成系统。我们得以在每日多次代码提交中识别性能回退，防止 PyTorch 代码库引入性能缺陷。TorchBench 已开源并持续演进。
引用
@article{arxiv.2304.14226,
title = {TorchBench: Benchmarking PyTorch with High API Surface Coverage},
author = {Yueming Hao and Xu Zhao and Bin Bao and David Berard and Will Constable and Adnan Aziz and Xu Liu},
journal= {arXiv preprint arXiv:2304.14226},
year = {2023}
}