如何评估基于帕累托搜索的软件工程中的解？批判性综述与方法论指导

随着现代化需求，在许多软件工程（SE）场景中同时考虑多个目标/准则的趋势日益增强。这种多目标优化场景带来一个重要问题——如何评估优化算法的结果，其结果通常是一组不可比较的解（即彼此间为帕累托非支配）。这一问题对 SE 领域，特别是基于搜索的软件工程（SBSE）从业者而言可能具有挑战性。一方面，多目标优化对 SE/SBSE 研究者而言可能仍相对新颖，他们可能无法为其问题确定正确的评估方法。另一方面，简单套用通用多目标优化问题的评估方法可能并不适合特定的 SE 问题，尤其在问题性质或决策者的偏好显式或隐式可用时。文献中各种不恰当/不充分的选择以及不准确/误导性的评估方法使用已充分反映了这一点。在本文中，我们首先对 SBSE 中多目标优化的质量评估进行系统且批判性的综述。我们调查了 2009 至 2019 年间来自七个存储库中 36 个场所的 717 篇论文，并筛选出 95 项重要研究，借此识别出该领域中五个重要但被忽视的问题。随后我们对 SBSE 中的质量评估指标/方法和一般情形进行深入分析，结合已识别的问题，使我们能够编纂一份在不同 SBSE 场景中选择和使用评估方法的方法论指导。