DLBricks：用于降低 CPU 上深度学习基准测试负担的可组合基准生成（扩展版）
机器学习
2021-03-02 v3 性能
软件工程
机器学习
摘要
过去几年中，深度学习（DL）模型被广泛应用于图像分类、目标检测、机器翻译等大量任务。虽然 DL 模型为解决原本棘手的任务提供了机会，但其采用依赖于被优化以满足延迟和资源需求。基准测试是此过程中的关键步骤，但部分由于缺少具有代表性和最新的基准测试套件而受到阻碍。DL 模型的快速演进加剧了这一问题。本文提出 DLBricks，一种可组合基准生成设计，可降低在 CPU 上开发、维护和运行 DL 基准的负担。DLBricks 将 DL 模型分解为一组唯一可运行网络，并利用所生成基准的性能来构建原始模型的性能。DLBricks 利用了两个关键观察：DL 层是 DL 模型的性能构建块，且层在 DL 模型内部和跨 DL 模型中被广泛重复。由于基准自动生成且基准时间被最小化，DLBricks 能跟上最新提出模型的更新，缓解选择代表性 DL 模型的压力。此外，DLBricks 允许用户在基准套件中表示专有模型。我们使用跨越 5 个 DL 任务的 50 个 MXNet 模型在 4 个代表性 CPU 系统上评估 DLBricks。我们表明 DLBricks 为 DL 模型提供准确的性能估计，并跨系统减少基准时间（例如在 Amazon EC2 c5.xlarge 上达到 95% 以内精度且最高 4.4 倍基准时间加速）。
引用
@article{arxiv.1911.07967,
title = {DLBricks: Composable Benchmark Generation to Reduce Deep Learning Benchmarking Effort on CPUs (Extended)},
author = {Cheng Li and Abdul Dakkak and Jinjun Xiong and Wen-mei Hwu},
journal= {arXiv preprint arXiv:1911.07967},
year = {2021}
}