FFB6D：一种用于 6D 姿态估计的全流双向融合网络
计算机视觉与模式识别
2021-03-04 v1 机器人学
摘要
本文提出 FFB6D，一种为从单张 RGBD 图像进行 6D 姿态估计而设计的全流双向融合网络。我们的核心见解是，RGB 图像中的外观信息与深度图像中的几何信息是两个互补的数据源，而如何充分利用它们仍属未知。为此，我们提出 FFB6D，它学习结合外观与几何信息以进行表示学习以及输出表示选择。具体而言，在表示学习阶段，我们在两个网络的全流中构建双向融合模块，将融合应用于每个编码与解码层。以此方式，两个网络可利用来自另一网络的局部与全局互补信息以获得更好的表示。此外，在输出表示阶段，我们设计了一个简单而有效的 3D 关键点选择算法，综合考虑物体的纹理与几何信息，从而简化关键点定位以实现精确姿态估计。实验结果表明，我们的方法在多个基准上大幅优于当前最优方法(SOTA)。代码与视频见 \url{https://github.com/ethnhe/FFB6D.git}。
引用
@article{arxiv.2103.02242,
title = {FFB6D: A Full Flow Bidirectional Fusion Network for 6D Pose Estimation},
author = {Yisheng He and Haibin Huang and Haoqiang Fan and Qifeng Chen and Jian Sun},
journal= {arXiv preprint arXiv:2103.02242},
year = {2021}
}
备注
Accepted to CVPR2021