粗到细 Q-attention：通过离散化实现高效视觉机器人操作学习
机器人学
2022-03-16 v2 人工智能
计算机视觉与模式识别
机器学习
摘要
我们提出一种粗到细离散化方法，该方法使得在连续机器人领域中可使用离散强化学习方法替代不稳定且数据低效的 actor-critic 方法。该方法构建于近期发布的 ARM 算法之上，后者用离散智能体替代连续的下一最佳位姿智能体，并采用粗到细 Q-attention。给定体素化场景，粗到细 Q-attention 学习“放大”场景的哪一部分。当这种“放大”行为被迭代应用时，它产生平移空间近乎无损的离散化，并允许使用离散动作的深度 Q-learning 方法。我们表明，我们新的粗到细算法在多项困难的稀疏奖励 RLBench 基于视觉的机器人任务上取得了最先进的性能，并且能够以白板方式在数分钟内训练出真实世界策略，仅需少至 3 个演示。
引用
@article{arxiv.2106.12534,
title = {Coarse-to-Fine Q-attention: Efficient Learning for Visual Robotic Manipulation via Discretisation},
author = {Stephen James and Kentaro Wada and Tristan Laidlow and Andrew J. Davison},
journal= {arXiv preprint arXiv:2106.12534},
year = {2022}
}
备注
Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2022). Videos and code: https://sites.google.com/view/c2f-q-attention