即时动态批处理
分布式、并行与集群计算
2019-04-17 v1 数据库
摘要
批处理是深度学习框架中提升计算效率的一项基本技术。虽然对具有静态前馈计算图的模型而言批处理易于实现，但由于样本间计算图结构可变，对语法树或社交网络图等动态计算图的批处理颇具挑战。通过对 Tree-LSTM 模型的仿真与分析，我们展示了动态批处理中图分析时间与批处理有效性之间的关键权衡。基于该发现，我们提出一种动态批处理方法，作为对 MXNet Gluon 即时编译（JIT）框架的扩展。经验表明，我们的方法在常见动态工作负载（语义关联任务的 tree-LSTM 模型）上实现了最高 6.25 倍的加速。
引用
@article{arxiv.1904.07421,
title = {Just-in-Time Dynamic-Batching},
author = {Sheng Zha and Ziheng Jiang and Haibin Lin and Zhi Zhang},
journal= {arXiv preprint arXiv:1904.07421},
year = {2019}
}
备注
NeurIPS 2018 Systems for ML Workshop