归一化增强视觉强化学习中的泛化能力
机器学习
2023-06-02 v1 人工智能
摘要
视觉强化学习（RL）的近期进展在处理复杂任务上取得了令人瞩目的成功。然而，这些方法对视觉扰动的泛化能力有限，这对其真实世界应用与适应性提出了重大挑战。尽管归一化技术在监督与无监督学习中已展现巨大成功，其在视觉RL中的应用仍很匮乏。本文中，我们探讨了将归一化整合进视觉RL方法以提升泛化性能的潜在益处。我们发现，或许令人惊讶，引入合适的归一化技术已足以增强泛化能力，无需任何额外的特殊设计。我们利用两种归一化技术CrossNorm与SelfNorm的组合来实现可泛化的视觉RL。在DMControl Generalization Benchmark与CARLA上进行了大量实验以验证方法有效性。我们表明该方法显著提升了泛化能力，仅轻微影响采样效率。特别地，当与DrQ-v2结合时，我们的方法将DrQ-v2在CARLA各场景下的测试性能从训练性能的14%提升至97%。
引用
@article{arxiv.2306.00656,
title = {Normalization Enhances Generalization in Visual Reinforcement Learning},
author = {Lu Li and Jiafei Lyu and Guozheng Ma and Zilin Wang and Zhenjie Yang and Xiu Li and Zhiheng Li},
journal= {arXiv preprint arXiv:2306.00656},
year = {2023}
}