Pilot-Data：一种分布式数据抽象
分布式、并行与集群计算
2013-11-20 v3
摘要
依赖处理大量数据的科学问题需要克服多个领域的挑战：管理大规模数据分布，控制数据与计算资源的协同放置与调度，以及存储、传输和管理海量数据。尽管存在多种方法应对这些挑战中的每一个，但缺乏一种整合性的方法；此外，扩展现有功能或实现可互操作的能力仍然极其困难。我们提出Pilot-Data的概念，以解决在异构分布式环境中数据与计算的协同放置和调度的根本性挑战，并将互操作性和可扩展性作为首要关注点。Pilot-Data是Pilot-Job抽象的扩展，用于支持结合计算任务的数据管理。Pilot-Data将逻辑数据单元与物理存储分离，从而为高效的计算/数据放置和调度提供了基础。在本文中，我们讨论了Pilot-Data原型的设计与实现，展示了其在多个生产分布式网络基础设施上被数据密集型应用使用的情况，并说明了由Pilot-Data实现的灵活执行模式所带来的优势。我们的实验利用Pilot-Data与一个可扩展的Pilot-Job（BigJob）的结合实现，来确立使用Pilot-Data所能实现的应用性能。我们展示了Pilot-Data的概念如何也为构建工具和支持诸如亲和性等能力提供了基础，而这些能力反过来可用于高级的数据-计算协同放置与调度。
引用
@article{arxiv.1301.6228,
title = {Pilot-Data: An Abstraction for Distributed Data},
author = {Andre Luckow and Mark Santcroos and Ashley Zebrowski and Shantenu Jha},
journal= {arXiv preprint arXiv:1301.6228},
year = {2013}
}