探讨面向视觉基于强化学习的预训练目标的泛化能力
机器学习
2024-06-11 v1 人工智能
计算机视觉与模式识别
摘要
最近，各种预训练方法被引入视觉基于强化学习（RL）。然而，其泛化能力仍不清晰，因为评估局限于分布内环境且实验设置不统一。为此，我们引入Atari预训练基准（Atari-PB），该基准在50个Atari游戏上获得1000万次转换，预训练ResNet-50模型，并在多样化环境分布上进行评估。我们的实验表明，聚焦于学习任务无关特征（例如识别对象和理解时序动态）的预训练目标可提升跨环境的泛化能力。相比，聚焦于学习任务特定知识（例如识别智能体和拟合奖励函数）的目标在类似预训练数据集的环境中表现更好，但在变化的环境中不具备优势。我们在https://github.com/dojeon-ai/Atari-PB上公开代码、数据集和模型检查点。
引用
@article{arxiv.2406.06037,
title = {Investigating Pre-Training Objectives for Generalization in Vision-Based Reinforcement Learning},
author = {Donghu Kim and Hojoon Lee and Kyungmin Lee and Dongyoon Hwang and Jaegul Choo},
journal= {arXiv preprint arXiv:2406.06037},
year = {2024}
}
备注
accepted to ICML 2024