视觉强化学习中无界数据增强的方法
机器学习
2024-07-17 v2 计算机视觉与模式识别
机器人学
摘要
Q-learning 算法因其数据效率而在真实世界应用中备受青睐，但在基于视觉观察进行训练时，极易出现过拟合和训练不稳定。先前的工作（即 SVEA）发现，选择性地应用数据增强可以在不破坏训练稳定性的情况下提高 RL 智能体的视觉泛化能力。我们重新审视了其数据增强方法，并发现一个假设将其有效性局限于光度性质的增强。针对这些局限性，我们提出了一种广义的方法 SADA，适用于更广泛的增强类型。我们在 DMC-GB2（我们提出的对流行的 DMControl 泛化基准的扩展）以及来自 Meta-World 和 Distracting Control Suite 的任务上评估了其有效性，发现我们的方法 SADA 在多种增强下极大提高了 RL 智能体的训练稳定性和泛化能力。可视化、代码和基准请见 https://aalmuzairee.github.io/SADA/
引用
@article{arxiv.2405.17416,
title = {A Recipe for Unbounded Data Augmentation in Visual Reinforcement Learning},
author = {Abdulaziz Almuzairee and Nicklas Hansen and Henrik I. Christensen},
journal= {arXiv preprint arXiv:2405.17416},
year = {2024}
}
备注
Accepted at the Reinforcement Learning Conference (RLC) 2024