以少学得更好：面向样本高效视觉强化学习的有效增强
机器学习
2023-10-30 v2 人工智能
计算机视觉与模式识别
摘要
数据增强（DA）是提升视觉强化学习（RL）算法样本效率的关键技术。值得注意的是，仅采用简单的观测变换即可在不依赖额外辅助表示任务或预训练编码器的情况下取得优异性能。然而，何种 DA 属性使其在实现样本高效视觉 RL 中发挥作用仍不清楚。为探究此问题并进一步挖掘 DA 潜力，本工作开展综合实验以评估 DA 属性对其效能的影响，并提供以下见解与改进：（1）对于单个 DA 操作，我们揭示充足的空间多样性与轻微难度二者缺一不可。基于该发现，我们引入随机填充缩放（Rand PR），一种以最小难度提供丰富空间多样性的新 DA 操作。（2）对于多类型 DA 融合方案，DA 难度增加与数据分布不稳定导致当前融合方案无法达到比其对应单个操作更高的样本效率。考虑到 RL 的非平稳性质，我们提出一种称为循环增强（CycAug）的 RL 定制多类型 DA 融合方案，其通过不同 DA 操作的周期循环来增加类型多样性同时保持数据分布一致性。在 DeepMind Control 套件与 CARLA 驾驶模拟器上的大量评估表明，我们的方法相比先前最先进方法实现了更优的样本效率。
引用
@article{arxiv.2305.16379,
title = {Learning Better with Less: Effective Augmentation for Sample-Efficient Visual Reinforcement Learning},
author = {Guozheng Ma and Linrui Zhang and Haoyu Wang and Lu Li and Zilin Wang and Zhen Wang and Li Shen and Xueqian Wang and Dacheng Tao},
journal= {arXiv preprint arXiv:2305.16379},
year = {2023}
}
备注
NeurIPS 2023 poster