用于强化学习的简单噪声环境增强
机器学习
2023-05-05 v1 人工智能
摘要
数据增强是机器学习中广泛用于提升模型性能的技术，尤其在计算机视觉与自然语言处理中。近来，将增强技术应用于强化学习（RL）问题日益受到关注，且侧重于基于图像的增强。本文中，我们探索了一组通用包装器，旨在通过噪声增强 RL 环境，以鼓励智能体探索并提升训练数据多样性，其适用于广泛的 RL 算法与环境。具体而言，我们聚焦于涉及状态、奖励与转移动力学的增强，并引入了两种新颖的增强技术。此外，我们引入了噪声率超参数以控制噪声注入频率。我们基于三种流行 RL 算法——Soft Actor-Critic（SAC）、Twin Delayed DDPG（TD3）与 Proximal Policy Optimization（PPO）——在五个 MuJoCo 环境中，给出了这些包装器对回报影响的实验结果。为支持实践中增强技术的选择，我们还给出了探讨这些技术跨环境性能的分析。最后，我们在 noisyenv 仓库中发布了这些包装器，以便与 gym 环境配合使用。
引用
@article{arxiv.2305.02882,
title = {Simple Noisy Environment Augmentation for Reinforcement Learning},
author = {Raad Khraishi and Ramin Okhrati},
journal= {arXiv preprint arXiv:2305.02882},
year = {2023}
}