基于可微逆图形的零样态场景重建与机器人抓取
机器人学
2026-02-06 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
有效地应对新颖的真实世界环境要求机器人系统估计并与以前无法看见的对象进行交互。当前最先进的模型通过使用大量训练数据和测试时样本来构建黑盒场景表示来解决这一挑战。本文引入了一种可微神经图形模型，将神经基础模型与基于物理的可微渲染相结合，用于无需依赖任何额外3D数据或测试时样本的零样态场景重建和机器人抓取。我们的模型通过解决一系列受约束的优化问题，从单个RGBD图像和边界框估计先前无法看见的物体的物理一致场景参数，如网格、光照条件、材料属性和6D姿态。我们在标准的无模型few-shot基准上评估了该方法，并证明其在无模型few-shot姿态估计中优于现有算法。此外，我们通过将该算法应用于零样态抓取任务来验证场景重建的准确性。通过实现无需依赖广泛数据集或测试时抽样的零样态、物理一致场景重建和抓取，本文的方法为实现更数据高效、可解释且在新环境中更通用的机器人自主性提供了一条路径。
引用
@article{arxiv.2602.05029,
title = {Differentiable Inverse Graphics for Zero-shot Scene Reconstruction and Robot Grasping},
author = {Octavio Arriaga and Proneet Sharma and Jichen Guo and Marc Otto and Siddhant Kadwe and Rebecca Adam},
journal= {arXiv preprint arXiv:2602.05029},
year = {2026}
}
备注
Submitted to IEEE Robotics and Automation Letters (RA-L) for review. This version includes the statement required by IEEE for preprints