PSB2:第二个程序合成基准测试套件

在过去的六年中,遗传编程及其他程序合成领域的研究人员一直使用通用程序合成基准测试套件(General Program Synthesis Benchmark Suite)来对自动程序合成系统的诸多方面进行基准测试。这些问题已被用于在实现通用程序合成目标(自动创建人类程序员所编写的软件类型)方面取得显著进展。许多尝试过原始基准测试套件中问题的系统都利用它来展示通过新技术获得的性能提升。随着时间的推移,该套件逐渐过时,阻碍了对进一步改进的准确度量。该领域需要一组新的、更困难的基准问题,以超越先前的可能性。在本文中,我们描述了构成 PSB2(一个新基准测试套件)的 25 个新通用程序合成基准问题。这些问题从多种来源中精心选取,包括编程 kata 和大学课程。我们选取这些问题以使其比原始套件中的问题更困难,并给出使用 PushGP 的结果以展示这一难度的提升。这些新问题为改进留下了充足空间,为未来六年或更长时间的通用程序合成研究指明了方向。