面向机器学习的数据中心化优化框架
机器学习
2022-08-31 v3 分布式、并行与集群计算
性能
摘要
深度学习的快速进展正带来一组多样化且快速变化的模型，对算力的需求急剧增长。然而，随着框架将性能优化特化到流行网络中的模式，它们隐式地约束了推动研究进展的新颖且多样的模型。我们通过定义一个灵活且用户可定制的流水线，赋能深度学习研究者，用于基于数据移动最小化的任意深度神经网络训练优化。该流水线以 PyTorch 或 ONNX 中的标准网络为起点，并通过渐进式下沉转换计算。我们定义了四个层级的通用途转换，从局部算子内优化到全局数据移动削减。这些转换作用于一个数据中心化图中间表示，该表示在所有抽象层级表达计算与数据移动，包括将卷积等基本算子展开为其底层计算。该设计的核心在于流水线的交互性与可内省性。每个部分均可通过 Python API 扩展，并可使用 GUI 交互式调优。我们在十个不同网络上展示了具有竞争力的性能或加速，其中交互式优化在 EfficientNet 中发现了新的机会。
引用
@article{arxiv.2110.10802,
title = {A Data-Centric Optimization Framework for Machine Learning},
author = {Oliver Rausch and Tal Ben-Nun and Nikoli Dryden and Andrei Ivanov and Shigang Li and Torsten Hoefler},
journal= {arXiv preprint arXiv:2110.10802},
year = {2022}
}
备注
13 pages, 12 figures, published at Proceedings of the ACM International Conference on Supercomputing (ICS'22)