CPS++：利用自监督学习改进单目图像的类级 6D 位姿与形状估计
计算机视觉与模式识别
2020-09-14 v3
摘要
当前的单目 6D 位姿估计方法只能处理极少数物体实例。这自然阻碍了可能的应用，例如，无缝融入日常流程的机器人必然需要具备处理数百种不同物体的能力。为解决这一具有切身实际相关性的问题，我们提出了一种用于类级单目 6D 位姿估计并结合度量形状检索的新方法。遗憾的是，获取充分的标注非常耗时且费力。对于类级 6D 位姿估计而言尤其如此，因为需要为所有物体创建高度精细的重建，并随后利用这些模型标注每个物体与场景。为克服这一缺陷，我们进一步提出了通过自监督学习实现类级 6D 位姿合成到真实域迁移的思路，从而免除了收集大量人工标注的负担。本质上，在利用合成数据对我们的方法进行全监督训练后，我们借助可微渲染的最新进展，以未标注的真实 RGB-D 数据对模型进行自监督，以改进后续推理。我们通过实验证明，我们能够从单张 RGB 图像中检索出精确的 6D 位姿与度量形状。
引用
@article{arxiv.2003.05848,
title = {CPS++: Improving Class-level 6D Pose and Shape Estimation From Monocular Images With Self-Supervised Learning},
author = {Fabian Manhardt and Gu Wang and Benjamin Busam and Manuel Nickel and Sven Meier and Luca Minciullo and Xiangyang Ji and Nassir Navab},
journal= {arXiv preprint arXiv:2003.05848},
year = {2020}
}