VAT-Mart：面向三维关节物体操作的视觉动作轨迹提议学习
计算机视觉与模式识别
2022-04-04 v2 机器人学
摘要
在人类环境中感知与操作三维关节物体（如柜子、门）是未来家用辅助机器人的重要且具挑战性的任务。三维关节物体的空间在其无数语义类别、多样形状几何与复杂部件功能上极为丰富。以往工作多将运动学结构抽象为估计的关节参数与部件位姿，作为操作三维关节物体的视觉表征。本文提出以物体为中心的可操作视觉先验，作为一种新颖的感知–交互握手点：感知系统输出比运动学结构估计更具可操作性的引导，通过预测稠密几何感知、交互感知与任务感知的视觉动作可供性与轨迹提议。我们设计了一种交互促感知框架 VAT-Mart，通过同时训练一个好奇心驱动的强化学习策略（探索多样交互轨迹）与一个感知模块（总结并泛化所探索知识以在多样形状上实现逐点预测）来学习此类可操作视觉表征。实验使用 SAPIEN 环境中的大规模 PartNet-Mobility 数据集证明了所提方法的有效性，并展现出对新测试形状、未见物体类别及真实世界数据良好的泛化能力。项目主页：https://hyperplane-lab.github.io/vat-mart
引用
@article{arxiv.2106.14440,
title = {VAT-Mart: Learning Visual Action Trajectory Proposals for Manipulating 3D ARTiculated Objects},
author = {Ruihai Wu and Yan Zhao and Kaichun Mo and Zizheng Guo and Yian Wang and Tianhao Wu and Qingnan Fan and Xuelin Chen and Leonidas Guibas and Hao Dong},
journal= {arXiv preprint arXiv:2106.14440},
year = {2022}
}
备注
ICLR 2022