Auto-MAP：一种用于探索 DNN 工作负载分布式执行计划的 DQN 框架
分布式、并行与集群计算
2020-07-09 v1 人工智能
摘要
过去十年间，训练深度神经网络的计算需求不断增长。当前方法（如数据/模型并行、流水线并行）将训练任务并行化到多个设备上。然而，这些方法总是依赖特定的深度学习框架且需要精细的手动设计，使其难以在不同类型模型间维护与共享。本文中，我们提出 Auto-MAP，一种用于探索 DNN 工作负载分布式执行计划的框架，它可通过在深度学习模型 IR 层级上的强化学习自动发现快速并行化策略。高效探索仍是强化学习的主要挑战。我们利用带任务特定剪枝策略的 DQN 来帮助高效探索包含优化策略的搜索空间。我们的评估显示，Auto-MAP 能在两小时内找到最优解，同时在多个 NLP 与卷积模型上取得更优吞吐。
引用
@article{arxiv.2007.04069,
title = {Auto-MAP: A DQN Framework for Exploring Distributed Execution Plans for DNN Workloads},
author = {Siyu Wang and Yi Rong and Shiqing Fan and Zhen Zheng and LanSong Diao and Guoping Long and Jun Yang and Xiaoyong Liu and Wei Lin},
journal= {arXiv preprint arXiv:2007.04069},
year = {2020}
}