通过主动视觉与零样本学习提升农业环境感知能力
机器人学
2024-09-20 v1 人工智能
摘要
农业是人类生存的基础,正面临前所未有的挑战。人类合作、高效和可持续的农业方法的需求空前紧迫。本工作的核心贡献在于利用主动视觉(AV)技术和零样本学习(ZSL)来提高机器人在水果采收情境下感知和交互农业环境的能力。ROS 2 中的 AV 管道集成了通过动态 3D 占用图进行的下一最佳视角(NBV)规划用于 3D 环境重建。我们的系统允许机器人臂动态规划并移动到最具信息性的视角,以探索环境,并通过 ZSL 模型产生的语义信息更新 3D 重建。仿真和实际环境实验结果表明,我们的系统在复杂可见性条件下效果出色,优于传统和预定义的静态规划方法。所采用 ZSL 分割模型(如YOLO World + EfficientViT SAM)具有高速性能和准确分割,在处理来自未知农业情境的语义信息时无需任何微调即可实现灵活性。
引用
@article{arxiv.2409.12602,
title = {Enhancing Agricultural Environment Perception via Active Vision and Zero-Shot Learning},
author = {Michele Carlo La Greca and Mirko Usuelli and Matteo Matteucci},
journal= {arXiv preprint arXiv:2409.12602},
year = {2024}
}