滑动拼图实验室：用于视觉强化学习中状态表示的可扩展基准
机器学习
2026-03-24 v5
摘要
有效的视觉表征学习对于强化学习 (RL) 智能体从原始感官输入中提取任务相关信息并跨越 diverse 环境至关重要。然而，现有的 RL 基准缺乏能够系统评估表征学习能力的能力，此能力需要独立于其他学习挑战。为填补这一空白，我们引入了滑动拼图实验室 (SPGym)，一个将经典 8 瓷片拼图转化为视觉 RL 任务的新型基准，其图像来源于任意大的数据集。SPGym 的关键创新之处在于，可调节网格大小和图像池，从而精确控制表征学习的复杂度，而保持环境动力学、观察和动作空间不变。这种设计使研究人员能够独立于其他学习组件地放大视觉表征挑战。通过对 model-free 和 model-based RL 算法进行大量实验，我们发现当前方法在处理视觉多样性方面存在根本性局限。随着图像池的增加，所有算法在 in- 和 out-of-distribution 性能上都出现恶化，复杂的表征学习技术往往不如数据增强这一较简单的做法。这些发现突显了视觉表征学习在 RL 中的关键缺口，并将 SPGym 确立为推动健壮、可泛化决策系统进展的宝贵工具。
引用
@article{arxiv.2410.14038,
title = {Sliding Puzzles Gym: A Scalable Benchmark for State Representation in Visual Reinforcement Learning},
author = {Bryan L. M. de Oliveira and Luana G. B. Martins and Bruno Brandão and Murilo L. da Luz and Telma W. de L. Soares and Luckeciano C. Melo},
journal= {arXiv preprint arXiv:2410.14038},
year = {2026}
}
备注
Accepted at ICML 2025