基于轨迹数据的特征驱动性能回归研究

黑盒优化是一个非常活跃的研究领域，每年都有许多新算法被开发出来。这种多样性一方面是必要的，因为不同的算法最适合不同类型的最优化问题。但这种多样性也带来了一个元问题：对于给定的问题应选择哪种算法？过去的研究表明，基于探索性景观分析（ELA）的按实例算法选择可以是解决这一元问题的有效手段。然而，现有方法需要基于大量样本来近似问题特征，这些样本通常通过均匀采样或拉丁超立方设计选取。这些点的评估代价高昂，因此基于 ELA 的算法选择相对于默认算法必须带来显著收益才能划算。人们可能希望利用默认算法原本就会执行的样本，即默认算法轨迹上的点，来绕过特征近似所需的评估。我们在本文中分析了这种方法的效果如何。具体地，我们测试了基于轨迹的 ELA 方法在固定函数评估预算后预测 CMA-ES 最终解质量的准确程度。我们观察到，若待预测解质量的剩余预算不太大，与经典全局采样方法相比，基于轨迹的预测损失可小得惊人。相比之下，特征选择在我们的实验中未显示出任何优势，反而导致预测精度下降。纳入 CMA-ES 的状态变量仅对预测精度有中等程度影响。