自演化自编码器嵌入 Q 网络
机器学习
2024-02-20 v1
摘要
在序列决策任务领域，强化学习 (RL) 智能体的探索能力对于通过与环境交互获得高奖励至关重要。为了增强这一关键能力，我们提出了 SAQN，这是一种将自演化自编码器 (SA) 嵌入 Q 网络 (QN) 的新方法。在 SAQN 中，自演化自编码器架构随着智能体对环境的探索而适应和演化。这种演化使自编码器能够捕捉各种原始观测值，并在其潜在空间中有效地表示它们。通过利用从编码器生成的潜在空间中提取的解耦状态，QN 被训练以确定能改善奖励的最优动作。在自编码器架构的演化过程中，采用了一种偏差 - 方差调节策略以激发 RL 智能体的最优响应。该策略包含两个关键组成部分：(i) 促进节点增长以保留先前获得的知识，确保对环境丰富的表示；(ii) 剪枝贡献最小的节点，以维持更易于管理和可处理的潜在空间。在三个不同的基准环境和一个真实世界分子环境中进行的广泛实验评估表明，所提出的 SAQN 显著优于最先进的同类方法。结果突出了自演化自编码器及其与 Q 网络协作在处理序列决策任务方面的有效性。
引用
@article{arxiv.2402.11604,
title = {Self-evolving Autoencoder Embedded Q-Network},
author = {J. Senthilnath and Bangjian Zhou and Zhen Wei Ng and Deeksha Aggarwal and Rajdeep Dutta and Ji Wei Yoon and Aye Phyu Phyu Aung and Keyu Wu and Min Wu and Xiaoli Li},
journal= {arXiv preprint arXiv:2402.11604},
year = {2024}
}
备注
11 pages, 9 figures, 3 tables