硬件因素对SPEC整数基准性能影响的历史与统计详细分析
计算机与社会
2024-01-31 v1 应用统计
摘要
标准性能评估公司（SPEC）的CPU基准测试数十年来一直被广泛用作衡量计算性能的指标。SPEC是一套行业标准化的、CPU密集型基准测试套件，其汇总数据为全球CPU和系统性能的历史提供了代理指标。过去的研究未能提供或解答诸如以下问题：SPEC基准测试套件随时间推移是如何实证演变的？哪些微架构因素对性能影响最大？套件中是否有任何微基准测试对结果和代码间的比较产生了不当影响？这些问题的答案能否为计算机系统性能的未来提供洞见？为了回答这些问题，我们详细阐述了对自1995年以来特定硬件因素（时钟频率、核心数量等）对SPEC基准性能影响的历史和统计分析。我们详细讨论了几种跨基准演变进行标准化的方法。我们对各种硬件因素进行了孤立和集体的敏感性分析，并识别出一个对性能结果产生了某种程度不当影响的基准测试（libquantum）。我们还展示了利用SPEC数据预测未来性能的方法。
引用
@article{arxiv.2401.16690,
title = {A Detailed Historical and Statistical Analysis of the Influence of Hardware Artifacts on SPEC Integer Benchmark Performance},
author = {Yueyao Wang and Samuel Furman and Nicolas Hardy and Margaret Ellis and Godmar Back and Yili Hong and Kirk Cameron},
journal= {arXiv preprint arXiv:2401.16690},
year = {2024}
}
备注
32 pages; 14 figures