基于自编码器与双曲神经网络的代理辅助进化强化学习
机器学习
2025-05-30 v2 人工智能
摘要
进化强化学习(ERL)使用进化算法(EA)训练强化学习(RL)策略，相比使用传统的策略梯度，展现出了更强的探索能力和更高的鲁棒性。然而，ERL存在计算成本高和搜索效率低的问题，因为EA需要通过昂贵的仿真来评估大量候选策略，其中许多策略是无效的，对训练没有实质性贡献。减少无效评估的一种直观方法是采用代理。不幸的是，现有的ERL策略通常被建模为深度神经网络(DNN)，因此自然地表示为包含数百万权重的高维向量，这使得为ERL策略构建有效的代理极具挑战性。本文提出了一种新颖的代理辅助ERL，它集成了自编码器(AE)和双曲神经网络(HNN)。具体而言，AE将高维策略压缩为低维表示，同时提取关键特征作为代理的输入。HNN作为基于分类的代理模型，能够从采样数据中学习复杂的非线性关系，并在无真实评估的情况下实现对采样策略的更准确预选。在10个Atari和4个Mujoco游戏上的实验验证了所提出的方法显著优于以前的方法。由AE和HNN引导的搜索轨迹在探索和收敛方面也被视觉证明更加有效。本文不仅提出了首个针对高维ERL策略的可学习策略嵌入和代理建模模块，还从经验上揭示了它们何时以及为何能够成功。
引用
@article{arxiv.2505.19423,
title = {Surrogate-Assisted Evolutionary Reinforcement Learning Based on Autoencoder and Hyperbolic Neural Network},
author = {Bingdong Li and Mei Jiang and Hong Qian and Ke Tang and Aimin Zhou and Peng Yang},
journal= {arXiv preprint arXiv:2505.19423},
year = {2025}
}