强化学习中的对象位置追踪：一种用于关键点检测的度量（扩展版）
机器学习
2024-07-03 v3 计算机视觉与模式识别
机器人学
摘要
用于机器人控制的强化学习（RL）通常需要环境状态的详细表示，包括关于任务相关对象且无法直接测量的信息。关键点检测器，例如空间自编码器（SAEs），是从高维图像数据中提取低维表示的常用方法。SAEs旨在提取诸如对象位置等空间特征，这些特征通常是机器人RL中有用的表示。然而，由于缺乏既定度量标准，SAE是否真正能够追踪场景中的对象从而产出适用于RL任务的空间状态表示却很少被检验。在本文中，我们提出通过衡量关键点在图像中追踪真实对象的效果来评估SAE实例的性能。我们提出了一种计算轻量的度量，并用它来评估常见基线SAE架构在模拟机器人任务图像数据上的表现。我们发现常见SAEs的空间提取能力存在显著差异。此外，我们验证了在我们的度量中表现良好的SAEs在下游RL中取得了更优性能。因此，我们的度量是在执行昂贵的RL训练之前RL性能的有效且轻量的指示器。基于这些见解，我们确定了SAE架构的三项关键修改以改进追踪性能。
引用
@article{arxiv.2312.00592,
title = {Tracking Object Positions in Reinforcement Learning: A Metric for Keypoint Detection (extended version)},
author = {Emma Cramer and Jonas Reiher and Sebastian Trimpe},
journal= {arXiv preprint arXiv:2312.00592},
year = {2024}
}
备注
19 pages, 12 figures