用于可泛化视觉强化学习的预训练图像编码器
机器学习
2022-12-20 v1
摘要
学习可适应未知环境的可泛化策略在视觉强化学习（RL）中仍具挑战性。现有方法试图通过使域内观测的外观多样化来获取鲁棒表征以实现更好的泛化。受限于环境的特定观测，这些方法忽略了探索多样真实世界图像数据集的可能性。本文中，我们探究视觉RL智能体如何从现成视觉表征中获益。令人惊讶的是，我们发现ImageNet预训练的ResNet模型中的前几层可为视觉RL提供颇具泛化性的表征。因此，我们提出用于可泛化视觉强化学习的预训练图像编码器（PIE-G），一种简单而有效的框架，能够以零样本方式泛化至未知视觉场景。我们在DMControl泛化基准、DMControl操作任务、Drawer World和CARLA上进行了大量实验以验证PIE-G的有效性。经验证据表明，PIE-G提升了样本效率，并在泛化性能上显著优于先前SOTA方法。特别地，在具挑战性的视频背景设定下，PIE-G平均带来55%的泛化性能提升。项目主页：https://sites.google.com/view/pie-g/home。
引用
@article{arxiv.2212.08860,
title = {Pre-Trained Image Encoder for Generalizable Visual Reinforcement Learning},
author = {Zhecheng Yuan and Zhengrong Xue and Bo Yuan and Xueqian Wang and Yi Wu and Yang Gao and Huazhe Xu},
journal= {arXiv preprint arXiv:2212.08860},
year = {2022}
}