ConfigX: 通过多任务强化学习实现进化算法的模块化配置
机器学习
2024-12-17 v2 神经与进化计算
摘要
近期黑盒优化的元学习（MetaBBO）研究进展表明，利用神经网络动态配置进化算法（EA），能够提升其在多种黑盒优化实例上的性能与适应性。然而，现有方法往往针对特定的进化算法进行定制，这限制了其泛化能力，且在不同进化算法和优化问题之间需要重新训练或重新设计。为解决这一局限，我们提出了 ConfigX，一种新的 MetaBBO 框架范式，能够学习通用的配置智能体（模型）以增强多种进化算法。为此，ConfigX 首先利用一种新颖的模块化系统，使各种优化子模块的灵活组合能够在训练过程中生成多样化的进化算法。此外，我们提出了一种基于 Transformer 的神经网络，通过在设计的联合优化任务空间中进行多任务强化学习来元学习通用配置策略。大量实验验证了我们的 ConfigX 在经过大规模预训练后，能够对未见过的任务实现鲁棒的零样本泛化，并超越现有最先进基线。此外，ConfigX 展现出强大的持续学习能力，可通过微调高效适应新任务。我们提出的 ConfigX 代表了迈向面向进化算法的自动化通用配置智能体的重要一步。
引用
@article{arxiv.2412.07507,
title = {ConfigX: Modular Configuration for Evolutionary Algorithms via Multitask Reinforcement Learning},
author = {Hongshu Guo and Zeyuan Ma and Jiacheng Chen and Yining Ma and Zhiguang Cao and Xinglin Zhang and Yue-Jiao Gong},
journal= {arXiv preprint arXiv:2412.07507},
year = {2024}
}