通过几何感知多任务学习实现灵巧操作中的泛化
机器人学
2021-11-05 v1 人工智能
计算机视觉与模式识别
机器学习
系统与控制
系统与控制
摘要
对任意物体的灵巧操作是人类的一项基本日常任务，但对于自主机器人系统来说一直是一个巨大的挑战。尽管使用强化学习的基于数据驱动的方法可以开发出发现控制单个物体行为的专家策略，但它们通常对未见过的物体表现出较差的泛化能力。在这项工作中，我们表明，通过将多任务学习与精心选择的物体表示相结合，现有强化学习算法学习的策略实际上可以成为通才策略。我们表明，单个通才策略可以对 100 多个几何形状多样的真实世界物体进行手内操作，并泛化到具有未见形状或大小的新物体。有趣的是，我们发现使用物体点云表示的多任务学习不仅泛化得更好，甚至在训练对象和保留的测试对象上都优于单物体专家策略。视频结果见 https://huangwl18.github.io/geometry-dex
引用
@article{arxiv.2111.03062,
title = {Generalization in Dexterous Manipulation via Geometry-Aware Multi-Task Learning},
author = {Wenlong Huang and Igor Mordatch and Pieter Abbeel and Deepak Pathak},
journal= {arXiv preprint arXiv:2111.03062},
year = {2021}
}
备注
Website at https://huangwl18.github.io/geometry-dex