大数据迭代机器学习算法的运行时间预测：以 KMeans 为例
分布式、并行与集群计算
2017-10-10 v1
摘要
运行于大数据基础设施之上的数据科学和机器学习算法，在从商业智能和分析到网络安全、智慧城市管理以及众多科学与工程领域的活动中日益重要。随着这些算法进一步融入日常运营，理解它们在大数据基础设施上的运行时间对于控制成本和交付时间至关重要。本文讨论了理解迭代机器学习算法运行时间所涉及的问题，并提供了一个此类算法的案例研究——包括对使用 Edward 概率编程语言在 Spark 大数据引擎上实现的 K-Means 算法运行时间的统计表征和建模。
引用
@article{arxiv.1710.03040,
title = {Run Time Prediction for Big Data Iterative ML Algorithms: a KMeans case study},
author = {Eduardo Rodrigues and Ricardo Morla},
journal= {arXiv preprint arXiv:1710.03040},
year = {2017}
}