Tessel：通过灵活调度搜索加速大 DNN 模型的分布式执行
分布式、并行与集群计算
2023-11-28 v1 人工智能
摘要
日益复杂多样的深度神经网络 (DNN) 模型需要将执行分布到多个设备以进行训练和推理任务，并且需要精心规划的调度以保障性能。然而，现有做法常依赖预定义调度，可能无法充分利用新兴的多样化模型感知算子放置策略的优势。由于调度空间庞大且多变，手工设计高效调度具有挑战性。本文提出 Tessel，一个自动化系统，为多样化的算子放置策略搜索分布式 DNN 训练与推理的高效调度。为降低搜索成本，Tessel 利用了一种洞察：最高效的调度在不同数据输入间常表现出重复模式（循环节）。这导出了一种两阶段方法：循环节构建与调度补全。通过探索各种算子放置策略的调度，Tessel 显著提升了训练与推理性能。对代表性 DNN 模型的实验表明，Tessel 实现了高达 5.5 倍的训练性能加速与高达 38% 的推理延迟降低。
引用
@article{arxiv.2311.15269,
title = {Tessel: Boosting Distributed Execution of Large DNN Models via Flexible Schedule Search},
author = {Zhiqi Lin and Youshan Miao and Guanbin Xu and Cheng Li and Olli Saarikivi and Saeed Maleki and Fan Yang},
journal= {arXiv preprint arXiv:2311.15269},
year = {2023}
}
备注
The paper is accepted by HPCA 2024