利用填色技术进行关键点检测以实现基于视觉的机器人操作器控制
机器人学
2026-04-16 v1
摘要
本文提出了一种 novel 的视觉伺服框架，用于利用纯天然视觉特征控制机器人操作器的配置空间。我们的目标是开发能够稳健检测和跟踪机器人操作器上天然特征或关键点的 methods，这些特征将用于视觉基于控制，尤其是在无法或不希望在运行时在机器人上放置外部标记的场景中。对于我们数据驱动方法的模型训练过程，我们创建了一个数据收集管道，其中我们沿机器人身体附加 ArUco 标记，将其中心标记为关键点，然后利用填色方法移除标记并重建被遮挡的区域。通过这种方式，我们生成的自然（无标记）机器人图像自动带有标记位置标签。这些图像用于训练关键点检测算法，用于利用机器人的自然特征控制机器人配置。与依赖精准相机标定和机器人模型来标记训练图像的先前方法不同，我们的方法通过填色消除了这些依赖。为实现即使在遮挡下也能稳健检测关键点，我们引入第二个填色模型，在运行时使用该模型实时重建机器人被遮挡的区域，从而实现持续的关键点检测。为进一步增强关键点预测的一致性和鲁棒性，我们集成了一个 Unscented Kalman Filter (UKF)，该滤波器随时间 refinement 关键点估计，提高稳定可靠的控制性能。我们获得了成功的控制结果，该 model-free 和纯视觉基于控制策略在运行时利用机器人的自然特征，在完全可见性和部分遮挡下均表现出色。
引用
@article{arxiv.2604.13309,
title = {Utilizing Inpainting for Keypoint Detection for Vision-Based Control of Robotic Manipulators},
author = {Sreejani Chatterjee and Venkatesh Mullur and Abhinav Gandhi and Berk Calli},
journal= {arXiv preprint arXiv:2604.13309},
year = {2026}
}