基于深度学习的RGB-D视觉与深度机器人传感器估计物体物理属性
计算机视觉与模式识别
2025-12-15 v2
摘要
惯性质量在机器人应用（如物体抓取、操作和仿真）中起着关键作用，为规划和控制提供了强有力的先验信息。在交互前准确估计物体的质量可以显著提升各种机器人任务的性能。然而，仅使用视觉传感器进行质量估计是一个相对未被充分探索的领域。本文提出了一种新颖的方法，结合来自深度图像的稀疏点云数据与RGB图像来估计物体的质量。我们评估了一系列点云处理架构以及仅使用RGB的方法。为了克服训练数据有限的限制，我们使用ShapeNetSem 3D模型创建了一个合成数据集，通过Kinect相机模拟RGBD图像。该合成数据用于训练一个图像生成模型以估计密集深度图，然后我们利用该模型增强一个现有的图像与质量值配对的数据集。我们的方法在所有评估指标上显著优于现有基准。数据生成(https://github.com/RavineWindteer/ShapenetSem-to-RGBD)以及深度估计器(https://github.com/RavineWindteer/GLPDepth-Edited)和质量估计器(https://github.com/RavineWindteer/Depth-mass-estimator)的训练均可在线获取。
引用
@article{arxiv.2507.05029,
title = {Estimating Object Physical Properties from RGB-D Vision and Depth Robot Sensors Using Deep Learning},
author = {Ricardo Cardoso and Plinio Moreno},
journal= {arXiv preprint arXiv:2507.05029},
year = {2025}
}