Akid:基于数据主义方法的神经网络研究与生产库
机器学习
2017-01-04 v1 分布式、并行与集群计算
摘要
神经网络是一项革命性但尚不成熟的技术,其发展迅速且严重依赖数据。为了从最新进展和新获取的数据中获益,我们希望研究与生产之间的差距尽可能小。另一方面,与传统的机器学习模型不同,神经网络不仅仅是又一种统计模型,而是自然处理引擎——大脑的模型。在本工作中,我们描述了一个名为 {\texttt akid} 的神经网络库。它在 TensorFlow 对信号(抽象为张量)进行抽象的基础上,为自然界中的实体(抽象为块)提供了更高层次的抽象,刻画了数据主义关于自然界所有实体均以某种方式处理输入并发出输出的观察。它包含一整套软件栈,通过提供抽象让研究人员专注于研究而非实现,同时开发的程序也能在分布式环境中无缝投入生产,达到生产就绪状态。在顶层应用栈中,它为神经网络应用提供了开箱即用的工具。在更底层,akid 提供了一种编程范式,让用户能够轻松构建自定义模型。分布式计算栈处理并发与通信,从而使模型能够在单 GPU、多 GPU 或分布式环境中进行训练或部署,而无需影响模型在编程范式栈中的指定方式。最后,分布式部署栈处理分布式计算的部署方式,从而将研究原型环境与实际生产环境解耦,并能够动态分配计算资源,使得开发与运维可以分离。文档请参阅 http://akid.readthedocs.io/en/latest/。
引用
@article{arxiv.1701.00609,
title = {Akid: A Library for Neural Network Research and Production from a Dataism Approach},
author = {Shuai Li},
journal= {arXiv preprint arXiv:1701.00609},
year = {2017}
}