提升云服务评估的度量指标——使用基准测试套件的最后一英里
分布式、并行与集群计算
2017-08-07 v1 性能
摘要
基准测试套件对于从整体视角评估云服务的各个方面具有重要意义。然而，在使用基准测试套件与获得对所评估云服务的整体印象之间仍存在差距。大多数云服务评估工作旨在报告单个基准测试结果，而不提供汇总度量。因此，对于拥有此类评估报告的客户而言，从全局角度理解一个被评估的云服务可能仍然困难。受机器学习中提升方法的启发，我们提出了“提升度量”这一概念，用以代表所有能够整合一套基准测试结果的潜在方法。本文介绍了两种初步的提升度量，并展示了如何利用提升度量来补充单个云服务特性的主要度量。特别是，提升度量可以在将实验设计应用于云服务评估时扮演汇总响应的角色。尽管“提升度量”这一概念是基于我们在云计算领域的工作提炼而成的，但我们相信它可以很容易地适应其他计算范式的评估工作。
引用
@article{arxiv.1708.01414,
title = {Boosting Metrics for Cloud Services Evaluation -- The Last Mile of Using Benchmark Suites},
author = {Zheng Li and Liam O'Brien and Rainbow Cai and He Zhang},
journal= {arXiv preprint arXiv:1708.01414},
year = {2017}
}
备注
Proceedings of the 27th IEEE International Conference on Advanced Information Networking and Applications (AINA 2013), pp. 381-388, Barcelona, Spain, March 25-28, 2013