发送函数还是发送数据（扩展版）
数据库
2018-07-31 v1
摘要
采样常用于降低交互式大数据分析的查询延迟。既有的并行数据处理范式依赖函数发送（function shipping），即协调器将查询分派给工作节点然后收集结果。高性能网络的商品化使数据发送（data shipping）成为可能，即协调器利用RDMA直接读取工作节点内存中的数据，而工作节点处理其他查询。本工作中，我们探究在带采样的交互式查询处理中使用函数发送还是数据发送。选择函数发送还是数据发送取决于传输的数据量、当前CPU利用率、采样方法以及在该数据集上执行的查询数量。结果显示，在工作节点高利用率下进行聚类采样时，数据发送最高快6.5倍。
引用
@article{arxiv.1807.11149,
title = {To Ship or Not to (Function) Ship (Extended version)},
author = {Feilong Liu and Niranjan Kamat and Spyros Blanas and Arnab Nandi},
journal= {arXiv preprint arXiv:1807.11149},
year = {2018}
}
备注
4 pages, 3 figures