通过试错法进行 Spark 参数调优
分布式、并行与集群计算
2016-07-26 v1
摘要
Spark 已成为大数据分析的一个极具吸引力的平台，因为它成功地向开发者隐藏了与并行性、容错性和集群设置相关的大部分复杂性。然而，这是以拥有超过 150 个可配置参数为代价的，由于其组合数量呈指数级增长，无法对其影响进行穷尽式检查。默认值允许开发者快速部署应用程序，但留下了性能是否可以提升的问题。在本工作中，我们研究了最重要的可调 Spark 参数对应用程序性能的影响，并指导开发者如何修改默认值。我们在 MareNostrum peta 级超级计算机上使用已知基准进行了一系列实验，以测试性能敏感度。更重要的是，我们基于极少量实验运行的证据，提供了一种针对任意应用程序的参数调优试错法。我们在三个案例研究中测试了该方法，成功实现了超过 10 倍的加速比。
引用
@article{arxiv.1607.07348,
title = {Spark Parameter Tuning via Trial-and-Error},
author = {Panagiotis Petridis and Anastasios Gounaris and Jordi Torres},
journal= {arXiv preprint arXiv:1607.07348},
year = {2016}
}
备注
full version of paper accepted in the 2nd INNS Conference on Big Data 2016