StereoPose:基于后视NOCS从立体图像进行类别级6D透明物体位姿估计
机器人学
2022-11-04 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
现有多数类别级位姿估计方法依赖物体点云。然而对于透明物体,深度相机通常无法捕获有意义数据,导致点云存在严重伪影。若无高质量点云,现有方法难以适用于具挑战性的透明物体。为此,我们提出StereoPose,一种新颖的立体图像框架,用于类别级物体位姿估计,尤其适合透明物体。为从纯立体图像实现鲁棒估计,我们开发了一条将类别级位姿估计解耦为物体尺寸估计、初始位姿估计与位姿精炼的流程。StereoPose随后基于归一化物体坐标空间(NOCS)中的表示估计物体位姿。为解决图像内容混叠问题,我们进一步定义了透明物体的后视NOCS图。后视NOCS旨在减少由内容混叠引起的网络学习歧义,并利用透明物体背面信息线索以实现更精准位姿估计。为进一步提升立体框架性能,StereoPose配备视差注意力模块用于立体特征融合,以及极线损失用于改善网络预测的立体视图一致性。在公开TOD数据集上的大量实验证明了所提StereoPose框架在类别级6D透明物体位姿估计上的优越性。
引用
@article{arxiv.2211.01644,
title = {StereoPose: Category-Level 6D Transparent Object Pose Estimation from Stereo Images via Back-View NOCS},
author = {Kai Chen and Stephen James and Congying Sui and Yun-Hui Liu and Pieter Abbeel and Qi Dou},
journal= {arXiv preprint arXiv:2211.01644},
year = {2022}
}
备注
7 pages, 6 figures, Project homepage: https://appsrv.cse.cuhk.edu.hk/~kaichen/stereopose.html