面向 3D 姿态半监督少样本学习的神经视图合成与匹配
计算机视觉与模式识别
2021-10-28 v1
摘要
我们研究从少量标注样本和一组未标注数据学习估计 3D 物体姿态的问题。我们的主要贡献是一个学习框架——神经视图合成与匹配，它能够将 3D 姿态标注可靠地从标注图像转移到未标注图像，尽管存在未见的 3D 视图以及物体形状、纹理、光照或场景上下文等干扰变化。在我们的方法中，物体表示为由每个网格顶点处特征向量构成的 3D 长方体网格。模型从少量标注图像初始化，随后用于合成未见 3D 视图的特征表示。合成视图与未标注图像的特征表示进行匹配，以生成 3D 姿态的伪标签。伪标注数据反过来用于训练特征提取器，使得每个网格顶点处的特征在物体不同 3D 视图间更具不变性。我们的模型以 EM 型方式训练，在增强特征提取器的 3D 姿态不变性与通过神经视图合成和匹配标注未标注数据之间交替。我们在 PASCAL3D+ 和 KITTI 数据集上证明了所提半监督学习框架在 3D 姿态估计上的有效性。我们发现我们的方法大幅优于所有基线，尤其在仅给定 7 张标注图像的极端少样本设定下。值得注意的是，我们观察到我们的模型在涉及部分遮挡的分布外场景中亦实现了出色的鲁棒性。
引用
@article{arxiv.2110.14213,
title = {Neural View Synthesis and Matching for Semi-Supervised Few-Shot Learning of 3D Pose},
author = {Angtian Wang and Shenxiao Mei and Alan Yuille and Adam Kortylewski},
journal= {arXiv preprint arXiv:2110.14213},
year = {2021}
}
备注
NeurIPS 2021; Code is available under https://github.com/Angtian/NeuralVS