中文

权重可能有害:多目标基于搜索的软件工程中 Pareto 搜索与加权搜索的比较

软件工程 2022-02-09 v1 人工智能

摘要

在基于搜索的软件工程(SBSE)中存在多个待优化目标时,通常采用 Pareto 搜索。它搜索问题 Pareto 最优解的良好近似,利益相关者据此按偏好选择最满意的解。然而,当搜索前可获得利益相关者的明确偏好(例如反映目标间相对重要性的一组权重)时,加权搜索被认为是首选,因为它通过将原多目标问题转化为单目标问题来简化搜索,并使搜索聚焦于利益相关者仅感兴趣的部分。本文质疑这种“加权搜索优先”的信念。我们表明,即便存在明确偏好,权重实际上也可能对搜索过程有害。具体而言,我们开展了一项大规模实证研究,涵盖来自三个代表性 SBSE 问题的 38 个系统/项目,结合两类搜索预算与九组权重,形成 604 个对比案例。我们的核心发现是:加权搜索在搜索早期消耗较少资源即达到一定的解质量;然而,只要给予充足但非不切实际的搜索预算,Pareto 搜索在多数情况下(高达 77% 的案例)显著优于其加权对应方法。这一点连同文中的其他发现与可操作建议,使我们能够在明确偏好可用的情形下,为 SBSE 中加权与 Pareto 搜索的选择制定务实且全面的指导。所有代码与数据可访问:https://github.com/ideas-labo/pareto-vs-weight-for-sbse。

关键词

引用

@article{arxiv.2202.03728,
  title  = {The Weights can be Harmful: Pareto Search versus Weighted Search in Multi-Objective Search-Based Software Engineering},
  author = {Tao Chen and Miqing Li},
  journal= {arXiv preprint arXiv:2202.03728},
  year   = {2022}
}

备注

This paper has been accepted by the ACM Transactions on Software Engineering and Methodology (TOSEM); DOI: 10.1145/3514233