面向软件非功能属性自动改进的基准测试套件综合综述

性能是现代软件的关键质量属性。尽管近年来关于软件执行时间、能耗、内存消耗等自动改进的研究激增,但此类工作明显缺乏标准基准测试。也不清楚此类基准在多大程度上代表了当前软件。此外,软件的非功能属性常被逐一针对性改进,忽视了对其他属性的潜在负面影响。为促进更多关于软件非功能属性自动改进的研究,我们开展了一项综述,收集了以往工作中使用的基准。我们考察了5个主要的软件工程在线知识库:ACM Digital Library、IEEE Xplore、Scopus、Google Scholar和ArXiV。我们收集了5000篇出版物(3749篇去重),并系统审阅以识别实证改进软件非功能属性的工作。我们确定了386篇相关论文。我们发现执行时间是最常被改进的目标属性(在62%的相关论文中),而多目标改进很少被考虑(5%)。静态方法占主导(在53%的论文中),探索性方法(进化式占18%、非进化式占14%)在过去10年日益流行。386篇论文中仅40%描述了使用基准套件而非单一软件的工作,其中SPEC最受欢迎(覆盖33篇论文)。我们还对未来工作的基准选择提供了建议,指出例如缺乏涵盖Python或JavaScript的工作。我们在专用网页https://bloa.github.io/nfunc_survey/提供了386篇论文中发现的所有程序。希望此工作能促进更多关于软件非功能属性自动改进主题的研究。