DAVIS-Ag：用于农业机器人领域启发式主动视觉原型开发的合成植物数据集
机器人学
2024-07-02 v3
摘要
在农业环境中，视角规划对于配备视觉传感器的机器人从具有随机遮挡的复杂植物结构中获取感兴趣目标（如果实）的信息丰富观测而言，可能是一项关键功能。尽管近期关于主动视觉的研究已显示出在农业任务中的某些潜力，但每个模型均在特定环境下设计与验证，该环境难以被复现以用于后续新方法的基准测试。本文引入一个名为 DAVIS-Ag 的数据集，以推动农业中领域启发式主动视觉（Domain-inspired Active VISion）的更广泛研究。具体而言，我们利用开源的“AgML”框架与“Helios”的 3D 植物模拟器，在 632 个合成果园中从 30K 个密集采样空间位置生成了 502K 张 RGB 图像。此外，考虑了草莓、番茄和葡萄在两种不同尺度（即单株与多株）下的植物环境。每张图像还提供了有用标注，包括（1）所有可识别果实的边界框与（2）实例分割掩码，以及（3）指向可通过执行动作到达的其他视角图像的指针，以模拟每个时间步的主动视角选择。利用 DAVIS-Ag，我们可视化了激励性示例，其中果实可见性因相机视角位姿变化（主要由于叶片等其他组件的遮挡）而显著改变。此外，我们给出了若干基线模型及其在目标可见性最大化任务中的基准实验结果。还研究了向真实草莓环境的迁移能力，以证明使用该数据集进行现实世界解决方案原型开发的可行性。为未来研究，我们的数据集已在线公开：https://github.com/ctyeong/DAVIS-Ag。
引用
@article{arxiv.2303.05764,
title = {DAVIS-Ag: A Synthetic Plant Dataset for Prototyping Domain-Inspired Active Vision in Agricultural Robots},
author = {Taeyeong Choi and Dario Guevara and Zifei Cheng and Grisha Bandodkar and Chonghan Wang and Brian N. Bailey and Mason Earles and Xin Liu},
journal= {arXiv preprint arXiv:2303.05764},
year = {2024}
}
备注
8 pages, 6 figures, 5 tables. Accepted to CASE2024