Stocator：一种面向 Spark 的高性能对象存储连接器
分布式、并行与集群计算
2017-09-07 v1
摘要
我们提出 Stocator，一种面向 Apache Spark 的高性能对象存储连接器，它利用了对象存储的语义。先前连接器假定文件系统语义，特别是通过创建临时文件来实现容错并允许推测执行，以避免执行同一任务的工作线程之间的干扰，然后重命名这些文件。重命名并非对象存储的原生操作；它不仅不是原子的，而且是通过代价高昂的复制操作和删除来实现的。相反，我们的连接器利用了对象创建固有的原子性，并且通过避免重命名范式，大幅减少了对象存储上的操作数量，同时提供了一种更简便的方法来处理对象存储典型的最终一致语义。我们已实现 Stocator 并开源共享。性能测试表明，对于写密集型工作负载，其速度最高可达 18 倍，并且在对象存储上执行的操作比旧版 Hadoop 连接器少多达 30 倍，从而降低了客户端和对象存储服务提供方的成本。
引用
@article{arxiv.1709.01812,
title = {Stocator: A High Performance Object Store Connector for Spark},
author = {Gil Vernik and Michael Factor and Elliot K. Kolodner and Pietro Michiardi and Effi Ofer and Francesco Pace},
journal= {arXiv preprint arXiv:1709.01812},
year = {2017}
}