通过多目标优化缓解 Transformer-Interaction-Rational 符号回归中的过拟合问题

Transformer-Interaction-Rational 是一种用于符号回归的表示方法，将函数搜索空间限制为由线性回归变换变量构成的两个非线性函数之比。该表示的主要目标是偏向更简单的表达式，同时保持标准方法的逼近能力。使用该表示进行遗传编程的性能在质量上显著优于其前身 (Interaction-Transformation)，并在当代符号回归基准测试中排名接近最先进水平。深入分析后，我们观察到在数据点较少的数据集上，性能可通过对更小表达式施加额外选择压力进一步提升。引入应用于适应度措施的惩罚项可改善这些小数据集上的结果。这种方法的一个问题是它引入了两个额外的超参数：i) 何时激活惩罚的准则，以及ii) 对适应度函数的惩罚幅度。本文扩展了 Transformer-Interaction-Rational 以支持多目标优化，具体为 NSGA-II 算法，并应用于相同的基准测试。结果的详细分析表明，多目标优化在部分基准测试中整体性能受益，同时在剩余数据集上保持与单目标方法相似的结果。对于小数据集，我们观察到结果有小幅改善（但统计上无显著性），表明必须进一步探索策略。