H-InDex：基于手部信息表征的视觉强化学习用于灵巧操作
机器学习
2023-10-16 v2 计算机视觉与模式识别
机器人学
摘要
人手具有非凡的灵巧性，长期以来一直是机器人操作的灵感来源。本工作中，我们提出一种人类手部信息化的视觉表征学习框架，以通过强化学习解决困难的灵巧操作任务（H-InDex）。我们的框架包含三个阶段：（i）通过三维人手姿态估计预训练表征，（ii）通过自监督关键点检测离线适配表征，以及（iii）采用指数移动平均 BatchNorm 的强化学习。后两个阶段总共仅修改预训练表征的 参数，确保预训练知识得到最大程度保持。我们实证研究了 12 个具有挑战性的灵巧操作任务，发现 H-InDex 大幅超越强基线方法以及近期用于运动控制的视觉基础模型。代码见 https://yanjieze.com/H-InDex。
引用
@article{arxiv.2310.01404,
title = {H-InDex: Visual Reinforcement Learning with Hand-Informed Representations for Dexterous Manipulation},
author = {Yanjie Ze and Yuyao Liu and Ruizhe Shi and Jiaxin Qin and Zhecheng Yuan and Jiashun Wang and Huazhe Xu},
journal= {arXiv preprint arXiv:2310.01404},
year = {2023}
}
备注
NeurIPS 2023. Code and videos: https://yanjieze.com/H-InDex