准确性可能说谎：论代理模型在配置调优中的影响

为了减轻配置调优期间昂贵的测量开销，自然地会构建代理模型作为系统的替代品，从而可以低成本地评估配置性能。然而，其中存在一种刻板印象，即模型准确性越高，调优结果就越好。这种“准确性至上”的信念驱使我们的研究社区构建越来越准确的模型，并因所用模型的不准确而批评调优器。然而，这种做法引发了一些以前未被解决的问题，例如，现有工作中报告的那些微小的准确性提升对调优器真的有很大影响吗？模型准确性在调优质量的影响中扮演什么角色？为了回答这些相关问题，我们进行了迄今为止最大规模的实证研究之一——历时 13 个月 24*7 全天候运行——涵盖了现有工作中的 10 个模型、17 个调优器和 29 个系统，并在四种不同的常用指标下进行，产生了 13,612 个调查案例。令人惊讶的是，我们的主要发现表明准确性可能会说谎：在相当多的案例中，更高的准确性实际上并未改善调优结果（在特定设置下高达 58% 的案例），甚至更糟，它可能降低调优质量（在特定设置下高达 24% 的案例）。我们还发现，大多数已提出的调优器中所选的模型是次优的，并且显著改善调优质量所需的准确性变化百分比因模型准确性范围而异。基于适应度景观分析，我们对其背后的原理进行了深入讨论，提供了若干经验教训以及对未来机遇的见解。最重要的是，这项工作向社区传达了一个明确的信息：对于基于模型的配置调优，我们应该从理所当然的“准确性至上”信念中退一步。