基于欧几里得数据增强的基于状态的连续控制强化学习
机器学习
2024-10-18 v1 人工智能
摘要
数据增强通过对原始数据进行变换来创建新数据点，供强化学习（RL）代理学习使用，已被证明可有效提高连续控制领域 RL 的数据效率。此前工作在此目标上主要局限于基于扰动的数据增强，即通过扰动原始数据创建新数据点，此类方法在代理观察到带有随机裁剪、平移等扰动的控制状态图像的任务中效果显著。本文聚焦于基于状态的控制，即 RL 代理可直接观察原始运动学和任务特征，并考虑基于欧几里得对称性（如旋转）对这些特征施加的数据增强。我们指出，当前基准任务中使用的默认状态特征（基于关节配置）不适用于欧几里得变换。因此，我们提议使用基于肢体配置（即由关节连接的刚性身体部位）的状态特征，这些特征在欧几里得变换下可提供丰富的增强数据。经过最小的超参数调优，我们表明这种新的欧几里得数据增强策略在广泛的连续控制任务中显著提高了数据效率和渐近性能。
引用
@article{arxiv.2410.12983,
title = {Reinforcement Learning with Euclidean Data Augmentation for State-Based Continuous Control},
author = {Jinzhu Luo and Dingyang Chen and Qi Zhang},
journal= {arXiv preprint arXiv:2410.12983},
year = {2024}
}