基于不确定性感知主动学习的机器人操作器NeRF物体模型：利用视觉和重新定向动作
机器人学
2024-10-27 v1 人工智能
摘要
操作未见物体在没有3D表示的情况下具有挑战性，因为物体通常有遮挡表面。这需要与物体进行物理交互以构建其内部表示。本文提出了一种方法，使机器人能够快速学习给定物体的完整3D模型，以便在陌生方向上进行操作。我们使用部分构建的NeRF模型的集成来量化模型不确定性，通过优化信息量和可行性来确定下一个动作（视觉或重新定向动作）。此外，我们的方法根据部分NeRF模型确定何时以及如何抓取和重新定向物体，并重新估计物体姿态以纠正交互过程中引入的错位。在桌面环境中使用基准物体对模拟Franka Emika机器人操作器进行的实验表明，与当前方法相比，在视觉重建质量（PSNR）上提高了14%，在物体表面的几何/深度重建（F-score）上提高了20%，以及在操作先前未见方向/稳定配置的物体的任务成功率上提高了71%。项目页面：https://actnerf.github.io。
引用
@article{arxiv.2404.01812,
title = {Uncertainty-aware Active Learning of NeRF-based Object Models for Robot Manipulators using Visual and Re-orientation Actions},
author = {Saptarshi Dasgupta and Akshat Gupta and Shreshth Tuli and Rohan Paul},
journal= {arXiv preprint arXiv:2404.01812},
year = {2024}
}
备注
This work has been submitted to the IEEE for possible publication