遮挡感知的自监督单目6D物体位姿估计
计算机视觉与模式识别
2022-03-22 v1 机器人学
摘要
6D物体位姿估计是计算机视觉中基础却具挑战性的问题。卷积神经网络（CNNs）近期已被证明即使在单目设定下也能预测可靠的6D位姿估计。然而，CNNs被认为极度依赖数据，而获取充足标注往往非常耗时费力。为克服该局限，我们提出一种借助自监督学习的新型单目6D位姿估计方法，消除了对真实标注的需求。在利用合成RGB数据全监督训练所提网络后，我们借助噪声学生训练与可微渲染的当前趋势，在这些无监督的真实RGB(-D)样本上进一步自监督模型，以寻求视觉与几何的最优对齐。此外，利用可见与不可见（amodal）掩码信息，我们的自监督对遮挡等挑战性场景变得极为鲁棒。大量评估表明，我们所提自监督方法优于所有依赖合成数据或采用域适应领域精细技术的方法。值得注意的是，我们的自监督方法较其合成数据训练的基线持续提升，且常几乎弥合与全监督对应方法间的差距。代码与模型公开于https://github.com/THU-DA-6D-Pose-Group/self6dpp.git。
引用
@article{arxiv.2203.10339,
title = {Occlusion-Aware Self-Supervised Monocular 6D Object Pose Estimation},
author = {Gu Wang and Fabian Manhardt and Xingyu Liu and Xiangyang Ji and Federico Tombari},
journal= {arXiv preprint arXiv:2203.10339},
year = {2022}
}
备注
Accepted to TPAMI 2021, in IEEE Transactions on Pattern Analysis and Machine Intelligence. arXiv admin note: text overlap with arXiv:2004.06468