Track Any Peppers：使用视觉语言基础模型进行弱监督的甜椒跟踪
计算机视觉与模式识别
2024-11-12 v1
摘要
在甜椒检测与多目标跟踪挑战中，我们提出 Track Any Peppers (TAP) - 一个用于甜椒跟踪的弱监督集成技术。TAP 利用视觉语言基础模型如 Grounding DINO 的零射检测能力，自动为甜椒在视频序列中生成伪标签，仅需极少的人工干预。经必要时优化后的这些伪标签用于训练 YOLOv8 分割网络。为提高在挑战条件下的检测准确性，我们采用预处理技术，如调整亮度并在后推理期间应用基于深度的过滤。对于目标跟踪，我们将 Matching by Segment Anything (MASA) 适配器与 BoT-SORT 算法集成。我们的做法实现了 HOTA 为 80.4%，MOTA 为 66.1%，召回率为 74.0%，精确率为 90.7%，在无需大量手动工作的情况下实现对甜椒的有效跟踪。该工作凸显了基础模型在农业领域实现高效和准确目标检测和跟踪的潜力。
引用
@article{arxiv.2411.06702,
title = {Track Any Peppers: Weakly Supervised Sweet Pepper Tracking Using VLMs},
author = {Jia Syuen Lim and Yadan Luo and Zhi Chen and Tianqi Wei and Scott Chapman and Zi Huang},
journal= {arXiv preprint arXiv:2411.06702},
year = {2024}
}