Follow Anything：实时开放集检测、跟踪与跟随
机器人学
2024-02-13 v2 计算机视觉与模式识别
机器学习
摘要
检测并跟随感兴趣物体对多种机器人应用至关重要，涵盖工业自动化、物流与仓储、医疗与安全等领域。本文提出一种用于实时检测、跟踪并跟随任意物体的机器人系统。我们的方法称为“follow anything”（FAn），是一种开放词汇与多模态模型——它不局限于训练时见过的概念，可在推理时使用文本、图像或点击查询应用于新类别。利用来自大规模预训练模型（基础模型）的丰富视觉描述符，FAn 通过将多模态查询（文本、图像、点击）与输入图像序列进行匹配来检测和分割物体。这些被检测和分割的物体在图像帧间被跟踪，同时考虑遮挡与物体重现。我们在真实机器人系统（微型飞行器）上演示了 FAn，并报告其在实时控制回路中无缝跟随感兴趣物体的能力。FAn 可部署在配备轻量（6–8 GB）显卡的笔记本电脑上，达到 6–20 帧每秒的吞吐率。为便于快速采用、部署与扩展，我们在项目网页 https://github.com/alaamaalouf/FollowAnything 开源全部代码，并建议读者观看 5 分钟讲解视频：https://www.youtube.com/watch?v=6Mgt3EPytrw。
引用
@article{arxiv.2308.05737,
title = {Follow Anything: Open-set detection, tracking, and following in real-time},
author = {Alaa Maalouf and Ninad Jadhav and Krishna Murthy Jatavallabhula and Makram Chahine and Daniel M. Vogt and Robert J. Wood and Antonio Torralba and Daniela Rus},
journal= {arXiv preprint arXiv:2308.05737},
year = {2024}
}
备注
Project webpage: https://github.com/alaamaalouf/FollowAnything Explainer video: https://www.youtube.com/watch?v=6Mgt3EPytrw