MapReduce 中的行为模拟
数据库
2010-05-21 v1 分布式、并行与集群计算
摘要
在许多科学领域，研究人员正转向大规模行为模拟，以更好地理解重要的现实世界现象。尽管高性能计算领域在模拟工具方面已有大量工作，但行为模拟在并行环境中的编程和自动扩展仍然具有挑战性。本文提出了 BRACE（Big Red Agent-based Computation Engine），它扩展了 MapReduce 框架，以在集群上高效处理这些模拟。我们可以利用空间局部性，将行为模拟视为迭代空间连接，从而大幅减少节点间的通信。在我们的实验中，我们在几个逼真的模拟上实现了近乎线性的扩展。尽管将行为模拟作为迭代空间连接进行并行处理非常高效，但对于领域科学家来说，编写单个智能体的行为可能更为简单。此外，许多模拟包含大量复杂计算和智能体间的消息传递，这使得优化单个节点的性能和节点间的通信变得重要。为应对这两个挑战，BRACE 包含一种名为 BRASIL（Big Red Agent SImulation Language）的高级语言。BRASIL 具有面向对象的特性，可用于编程模拟，但可以编译为数据流表示，以实现自动并行化和优化。我们表明，通过使用各种优化技术，我们可以实现与手工编码模拟相当的可扩展性和单节点性能。
引用
@article{arxiv.1005.3773,
title = {Behavioral Simulations in MapReduce},
author = {Guozhang Wang and Marcos Vaz Salles and Benjamin Sowell and Xun Wang and Tuan Cao and Alan Demers and Johannes Gehrke and Walker White},
journal= {arXiv preprint arXiv:1005.3773},
year = {2010}
}