无监督学习远超想象：基于局部强化学习的辅助目标选择

我们提出了一种名为Local Reinforcement-Based Selection of Auxiliary Objectives（局部强化学习选择辅助目标，LRSAO）的新方法，该方法利用强化学习（RL）选择辅助目标，以支持进化算法（EA）的优化过程，并在EA+RL框架中集成了对先前使用目标的unlearning能力。通过修改奖励机制以惩罚不增加适应值且不增加fitness值的动作，并依赖局部辅助目标，LRSAO能够根据问题景观动态调整其选择策略以优化性能，并在必要时unlearn先前的目标。我们在黑箱复杂度版本的非单调Jump函数上分析和评估了LRSAO，其中每个辅助目标在优化过程的特定阶段都有益。Jump函数对基于进化的方法而言难以优化，对Jump函数进行基于强化学习的选择的最佳已知复杂度为$O(n^2 \log(n) / \ell)$。我们的做法将其改进到$\Theta(n^2 / \ell^2 + n \log(n))$，实现了显著的改进，表明了LRSAO的效率和适应性，突显了其在复杂优化场景中超越传统方法的潜力。