基于纯目标检测的移动机器人操控

本文研究使用目标检测的移机器人操控问题。我们的方法将检测与控制作为从真实世界交互中学习的互补功能。我们开发了一种仅基于检测的端到端操控方法，并引入任务聚焦少样本目标检测（TFOD）来学习新物体和场景。我们的机器人自主收集训练数据，并自动确定何时重新训练检测以改善跨多种子任务（例如抓取）的性能。值得注意的是，检测训练成本低廉，我们的机器人仅使用少至四次标注点击即可学习操控新物体。在物理实验中，我们的机器人从单次标注点击和一种新颖的更新公式学习视觉控制，在杂乱及其他移动场景中操控新物体，并在现有视觉伺服控制与深度估计基准上取得最先进结果。最后，我们开发了 TFOD Benchmark 以支持未来机器人目标检测研究：https://github.com/griffbr/tfod。