利用类别级 6D 位姿跟踪器迈向真实世界空中视觉引导
机器人学
2024-01-17 v2 计算机视觉与模式识别
摘要
跟踪物体 6 自由度 (6-DoF) 位姿对于各种下游机器人任务和真实世界应用至关重要。在本文中，我们利用类别级 6-DoF 位姿跟踪，研究了用于空中机器人操作的真实世界机器人任务——空中视觉引导。空中条件不可避免地带来了特殊挑战，例如俯仰和滚转的快速视点变化以及帧间差异。为了支持任务中的这些挑战，我们首先引入了一种鲁棒的类别级 6-DoF 位姿跟踪器 (Robust6DoF)。该跟踪器利用形状和时间先验知识，以由粗到细的方式在先验结构自适应监督下探索最优帧间关键点对。值得注意的是，我们的 Robust6DoF 采用时空增强模块，通过时间动态滤波和形状相似性滤波来解决帧间差异和类内形状变化的问题。我们进一步提出了一种位姿感知离散伺服策略 (PAD-Servo)，作为一种解耦方法来实现最终的空中视觉引导任务。它包含两种伺服动作策略，以更好地适应空中机器人操作的结构特性。在四个知名公共基准上的详尽实验证明了我们的 Robust6DoF 的优越性。真实世界测试直接验证了我们的 Robust6DoF 连同 PAD-Servo 可以 readily 用于真实世界的空中机器人应用。
引用
@article{arxiv.2401.04377,
title = {Towards Real-World Aerial Vision Guidance with Categorical 6D Pose Tracker},
author = {Jingtao Sun and Yaonan Wang and Danwei Wang},
journal= {arXiv preprint arXiv:2401.04377},
year = {2024}
}