Duet插桩：一种提升云服务基准测试灵敏度的智能体方法
分布式、并行与集群计算
2026-05-19 v1
摘要
持续的云服务性能基准测试对于在部署到生产环境之前尽早检测性能缺陷至关重要。然而，使用应用程序基准测试来检测性能退化具有挑战性，因为这些测试通常将被测系统视为黑盒，且底层云基础设施的 I/O 调用多变或性能特征不断变化。微基准测试通常更灵敏、更准确，但实现和运行起来也更耗时。此外，它们无法捕获集成系统作为一个整体的性能。因此，全面的性能评估通常需要结合这两种方法。为了解决应用程序基准测试的不足，我们提出了 duet 插桩（duet instrumentation），这是一种由大语言模型（LLM）代码理解的最新进展所实现的新型基准测试范式。其核心思想是分析两个连续应用程序版本之间的代码变更，并在两个应用程序版本的同步基准测试期间，直接在与性能相关的变更处测量性能差异，从而以更高的灵敏度揭示性能变化。我们设计了一个系统，能够可靠地自动化评估和插桩两个应用程序版本之间与性能相关的代码变更。在一个提供可配置性能退化的真实测试平台应用程序的实验中，我们发现，在行距离阈值为五的情况下，将生成的插桩与理想插桩进行比较时，我们的原型实现了 58% 的精度、93% 的召回率和 71% 的特异度（跨任务平均）。在下游应用程序基准测试中，我们发现与传统 duet 应用程序基准测试相比，我们的原型能够检测到低至 5 倍注入严重程度的性能退化，同时保持相似的 A/A 延迟分布。
引用
@article{arxiv.2605.18397,
title = {Duet instrumentation: An Agentic Approach to Improving Sensitivity in Cloud Service Benchmarking},
author = {Sebastian Koch and Nils Japke and David Bermbach},
journal= {arXiv preprint arXiv:2605.18397},
year = {2026}
}