BigDL 2.0：AI流水线从笔记本到分布式集群的无缝扩展
机器学习
2022-04-20 v2
摘要
大多数AI项目始于运行在单台笔记本上的Python notebook；然而，人们通常需要经历大量痛苦才能将其扩展以处理更大数据集（用于实验与生产部署）。这些通常要求数据科学家经历许多手动且易错的步骤，以充分利用可用硬件资源（如SIMD指令、多进程、量化、内存分配优化、数据分区、分布式计算等）。为应对此挑战，我们已在https://github.com/intel-analytics/BigDL/以Apache 2.0许可证开源BigDL 2.0（合并了原BigDL与Analytics Zoo项目）；使用BigDL 2.0，用户可仅在笔记本上构建常规Python notebook（可能含AutoML支持），其后可在单节点上透明加速（实验中最高达9.6倍加速），并无缝扩展至大型集群（实际用例中跨数百台服务器）。BigDL 2.0已被许多实际用户（如Mastercard、Burger King、Inspur等）用于生产环境。
引用
@article{arxiv.2204.01715,
title = {BigDL 2.0: Seamless Scaling of AI Pipelines from Laptops to Distributed Cluster},
author = {Jason Dai and Ding Ding and Dongjie Shi and Shengsheng Huang and Jiao Wang and Xin Qiu and Kai Huang and Guoqiong Song and Yang Wang and Qiyuan Gong and Jiaming Song and Shan Yu and Le Zheng and Yina Chen and Junwei Deng and Ge Song},
journal= {arXiv preprint arXiv:2204.01715},
year = {2022}
}
备注
Accepted by CVPR 2022 (Demo Track)