大规模且易用的深度学习
机器学习
2016-03-28 v1 分布式、并行与集群计算
摘要
近来，深度学习技术在图像分类和多模态数据分析等多种多媒体应用中取得了成功。大型深度学习模型被开发用于学习复杂数据的丰富表示。在深度学习被广泛用于多媒体及其他应用之前，有两方面挑战需要克服。其一是可用性（usability），即不同模型与训练算法的实现须由非专家轻松完成，尤其在模型庞大复杂时。其二是可扩展性（scalability），即深度学习系统必须能够调配大量计算资源以满足使用海量数据集训练大型模型的需求。为应对这两大挑战，本文设计了一个称为 SINGA 的分布式深度学习平台，其具有基于深度学习模型通用层抽象的直观编程模型。通过灵活的分布式训练架构与特定优化技术实现了良好的可扩展性。SINGA 可运行于 GPU 与 CPU 之上，且我们展示其性能超越许多其他最先进的深度学习系统。我们在 SINGA 中开发和训练真实多媒体应用深度学习模型的经验表明，该平台既可用又可扩展。
引用
@article{arxiv.1603.07846,
title = {Deep Learning At Scale and At Ease},
author = {Wei Wang and Gang Chen and Haibo Chen and Tien Tuan Anh Dinh and Jinyang Gao and Beng Chin Ooi and Kian-Lee Tan and Sheng Wang},
journal= {arXiv preprint arXiv:1603.07846},
year = {2016}
}
备注
submitted to TOMM (under review)