勿扰关键：面向视觉强化学习的任务感知Lipschitz数据增强
计算机视觉与模式识别
2022-02-23 v2 机器学习
摘要
视觉强化学习（RL）的关键挑战之一是学习能够泛化到未知环境的策略。近来，旨在增强数据多样性的数据增强技术已在提升所学策略的泛化能力方面展现出可靠性能。然而，由于RL训练对扰动敏感，以任务无关方式变换每个像素的朴素数据增强可能面临不稳定并损害样本效率，从而进一步恶化泛化性能。该现象的核心在于面对增强图像时动作分布发散与价值估计高方差。为缓解此问题，我们提出面向视觉RL的任务感知Lipschitz数据增强（TLDA），其显式识别具有较大Lipschitz常数的任务相关像素，仅对任务无关像素进行增强。为验证TLDA的有效性，我们在DeepMind Control套件、CARLA和DeepMind Manipulation任务上进行了大量实验，表明TLDA提升了训练时的样本效率与测试时的泛化能力，并在3个不同视觉控制基准上优于先前的最先进方法。
引用
@article{arxiv.2202.09982,
title = {Don't Touch What Matters: Task-Aware Lipschitz Data Augmentation for Visual Reinforcement Learning},
author = {Zhecheng Yuan and Guozheng Ma and Yao Mu and Bo Xia and Bo Yuan and Xueqian Wang and Ping Luo and Huazhe Xu},
journal= {arXiv preprint arXiv:2202.09982},
year = {2022}
}