基于MMLSpark的灵活可扩展深度学习
分布式、并行与集群计算
2018-10-30 v1 机器学习
摘要
在这项工作中，我们详述了一个名为MMLSpark的新型开源库，它将灵活的深度学习库Cognitive Toolkit与分布式计算框架Apache Spark相结合。为此，我们为Cognitive Toolkit贡献了Java语言绑定，并向Spark生态系统添加了若干新组件。此外，我们还将广受欢迎的图像处理库OpenCV与Spark集成，并提出了一种从任意SparkML估计器自动生成PySpark封装器的工具，并利用该工具将所有工作暴露给PySpark生态系统。最后，我们提供了一个用于在Spark生态系统中工作与开发的庞大工具库。我们将此工作应用于相机陷阱图像中雪豹的自动分类，并为非营利保护组织雪豹信托（Snow Leopard Trust）提供了端到端解决方案。
引用
@article{arxiv.1804.04031,
title = {Flexible and Scalable Deep Learning with MMLSpark},
author = {Mark Hamilton and Sudarshan Raghunathan and Akshaya Annavajhala and Danil Kirsanov and Eduardo de Leon and Eli Barzilay and Ilya Matiach and Joe Davison and Maureen Busch and Miruna Oprescu and Ratan Sur and Roope Astala and Tong Wen and ChangYoung Park},
journal= {arXiv preprint arXiv:1804.04031},
year = {2018}
}