面向强化学习的以对象为中心表征预训练研究
机器学习
2024-02-27 v3 人工智能
计算机视觉与模式识别
摘要
无监督以对象为中心的表征(OCR)学习近来作为一种新的视觉表征范式受到关注。这是因为其在样本效率、系统泛化与推理方面,有潜力成为一种面向各类下游任务的有效预训练技术。尽管基于图像的强化学习(RL)是最重要且被频繁提及的此类下游任务之一,但OCR对RL的益处此前竟未被系统性地研究。相反,大多数评估聚焦于诸如分割质量与对象属性预测精度等相当间接的指标。本文通过实证实验研究OCR预训练对基于图像的强化学习的有效性。为系统评估,我们引入一个简单的以对象为中心的视觉RL基准,并开展实验以回答诸如“OCR预训练是否能提升以对象为中心任务上的性能?”以及“OCR预训练能否有助于分布外泛化?”等问题。我们的结果为OCR预训练对RL的有效性及在特定场景中使用的潜在局限提供了实证证据与有价值的见解。此外,本研究还考察了在RL中融入OCR预训练的关键方面,包括视觉复杂环境中的性能以及聚合对象表征的合适池化层。
引用
@article{arxiv.2302.04419,
title = {An Investigation into Pre-Training Object-Centric Representations for Reinforcement Learning},
author = {Jaesik Yoon and Yi-Fu Wu and Heechul Bae and Sungjin Ahn},
journal= {arXiv preprint arXiv:2302.04419},
year = {2024}
}
备注
We study unsupervised object-centric representations in reinforcement learning through systematic investigation