面向野外类别级6D物体姿态估计的自监督几何对应方法
计算机视觉与模式识别
2023-04-04 v3 机器学习
机器人学
摘要
尽管6D物体姿态估计在计算机视觉与机器人领域有广泛应用，但由于缺乏标注，该问题远未解决。当转向类别级6D姿态时，问题变得更具挑战性，因为这要求对未见过的实例进行泛化。当前方法受限于利用来自仿真或人工收集的标注。本文通过提出一种自监督学习方法克服了这一障碍，该方法直接在大规模真实世界物体视频上训练，用于野外的类别级6D姿态估计。我们的框架重建物体类别的规范3D形状，并通过表面嵌入学习输入图像与规范形状之间的稠密对应。在训练时，我们提出新颖的几何循环一致性损失，其在2D-3D空间之间、不同实例之间以及不同时间步之间构建循环。学习到的对应可用于6D姿态估计以及关键点迁移等其他下游任务。令人惊讶的是，我们的方法无需任何人工标注或模拟器，即可在野外图像上取得与先前有监督或半监督方法相当甚至更好的性能。我们的项目页面为：https://kywind.github.io/self-pose 。
引用
@article{arxiv.2210.07199,
title = {Self-Supervised Geometric Correspondence for Category-Level 6D Object Pose Estimation in the Wild},
author = {Kaifeng Zhang and Yang Fu and Shubhankar Borse and Hong Cai and Fatih Porikli and Xiaolong Wang},
journal= {arXiv preprint arXiv:2210.07199},
year = {2023}
}
备注
Project page: https://kywind.github.io/self-pose