基于自监督深度先验形变网络的类别级6D物体位姿与尺寸估计
计算机视觉与模式识别
2022-07-21 v2
摘要
在3D空间中精确标注物体实例及其语义十分困难，因此合成数据被广泛用于此类任务，例如类别级6D物体位姿与尺寸估计。然而，合成域中便捷的标注带来了合成到真实（Sim2Real）域间隙的副作用。本工作中，我们旨在解决Sim2Real设定下、用于类别级6D物体位姿与尺寸估计的无监督域适应任务中的这一问题。我们提出一种构建于新颖的深度先验形变网络（简称DPDN）之上的方法。DPDN学习将类别形状先验的特征形变为匹配物体观测的特征，从而能够在特征空间中建立深度对应以直接回归物体位姿与尺寸。为减小Sim2Real域间隙，我们通过一致性学习在DPDN上构建了一种新颖的自监督目标；更具体地，我们对每个物体观测并行施加两个刚体变换，并分别送入DPDN以产生双路预测集合；在并行学习之上，采用互一致性项来保持双路预测间的交叉一致性以提升DPDN对位姿变化的敏感性，同时使用各自的 intra-consistency 项来强化各学习内部的自适应。我们在合成CAMERA25与真实世界REAL275数据集的训练集上训练DPDN；我们的结果在REAL275测试集上于无监督与有监督设定下均优于现有方法。消融实验也验证了我们所设计模块的有效性。我们的代码已公开于 https://github.com/JiehongLin/Self-DPDN。
引用
@article{arxiv.2207.05444,
title = {Category-Level 6D Object Pose and Size Estimation using Self-Supervised Deep Prior Deformation Networks},
author = {Jiehong Lin and Zewei Wei and Changxing Ding and Kui Jia},
journal= {arXiv preprint arXiv:2207.05444},
year = {2022}
}
备注
Accepted by ECCV2022