AccuracyTrader：面向云在线服务低尾延迟与高结果精度的精度感知近似处理
分布式、并行与集群计算
2016-07-12 v1
摘要
诸如搜索引擎等现代延迟敏感型在线服务通常通过查询跨越大规模并行组件的大型输入数据来处理请求。因此，这些组件的尾延迟决定了服务延迟。为了以结果精度换取尾延迟的降低，现有技术利用在指定截止时间前响应的组件来产生近似结果。然而，当负载加重时，它们可能会跳过很大比例的组件，从而造成巨大的精度损失。本文提出了 AccuracyTrader，它能够在保持低尾延迟的同时产生精度损失较小的近似结果。AccuracyTrader 聚合每个组件上的输入数据信息以创建小型摘要，从而使所有组件能够利用其摘要快速产生初始结果。AccuracyTrader 还利用摘要识别与任意请求结果精度最相关的输入数据部分，从而优先使用这些部分来改进已产生的结果，以最小化精度损失。我们使用真实服务中的工作负载对 AccuracyTrader 进行了评估。结果表明： 与现有的精确处理技术相比，AccuracyTrader 将尾延迟降低了 40 倍以上，精度损失不到 7%； 当使用相同延迟时，与现有的近似处理技术相比，AccuracyTrader 将精度损失降低了 13 倍以上。
引用
@article{arxiv.1607.02734,
title = {AccuracyTrader: Accuracy-aware Approximate Processing for Low Tail Latency and High Result Accuracy in Cloud Online Services},
author = {Rui Han and Siguang Huang and Fei Tang and Fugui Chang and Jianfeng Zhan},
journal= {arXiv preprint arXiv:1607.02734},
year = {2016}
}
备注
10 pages, 8 figures, 2 tables