基于关键点预测自监督学习的物体位姿估计
计算机视觉与模式识别
2023-02-21 v2 人工智能
机器学习
摘要
本文描述了从单幅图像进行特定物体位姿与形状预测的最新进展。主要贡献是一种通过自监督学习对应于类别特定可变形形状上位置的关键点来实现相机位姿预测的新方法。我们设计了一个网络，从分布在该类别特定平均形状上的一组关键点生成代理真实热力图，其中每个关键点在带标签纹理上由唯一颜色表示。该代理真实热力图用于训练深度关键点预测网络，其可用于在线推理。与最先进（SOTA）方法相比，所提出的相机位姿预测方法显示出显著改进。我们的相机位姿预测方法用于从视频序列的 2D 图像帧在线推断 3D 物体。为训练重建模型，其在每步训练中仅接收来自视频序列单帧的轮廓掩码以及类别特定平均物体形状。我们使用代表鸟类类别的三个不同数据集进行了实验：CUB [51] 图像数据集、YouTubeVos 和 Davis 视频数据集。网络在 CUB 数据集上训练并在所有三个数据集上测试。在线实验使用在 CUB 训练集上训练的网络在 YouTubeVos 和 Davis [56] 视频序列上展示。
引用
@article{arxiv.2302.07360,
title = {Self-supervised learning of object pose estimation using keypoint prediction},
author = {Zahra Gharaee and Felix Järemo Lawin and Per-Erik Forssén},
journal= {arXiv preprint arXiv:2302.07360},
year = {2023}
}
备注
21 pages, 9 figures, 2 tables