PlantTrack: 基于任务驱动的植物关键点跟踪与零样本仿真到现实迁移
机器人学
2024-07-25 v1 计算机视觉与模式识别
摘要
跟踪植物特征对于表型分析、修剪或收获等各种农业任务至关重要，但植物环境非结构化、杂乱且可变形，使其成为一项具有挑战性的任务。在此背景下，基础模型的最新进展显示出解决这一挑战的潜力。在我们的工作中，我们提出了PlantTrack，利用提供高维特征的DINOv2，训练一个关键点热图预测器网络来识别语义特征（如水果和叶子）的位置，然后将其用作提示，通过TAPIR在视频帧间进行点跟踪。我们证明，仅用20张合成图像训练关键点预测器，即可实现零样本的仿真到现实迁移，从而在真实环境中有效跟踪植物特征。
引用
@article{arxiv.2407.16829,
title = {PlantTrack: Task-Driven Plant Keypoint Tracking with Zero-Shot Sim2Real Transfer},
author = {Samhita Marri and Arun N. Sivakumar and Naveen K. Uppalapati and Girish Chowdhary},
journal= {arXiv preprint arXiv:2407.16829},
year = {2024}
}