可微机器人渲染

在大规模视觉数据上训练的视觉基础模型展现了在开放世界环境中卓越的推理与规划能力。将其应用于机器人任务时，一个关键挑战在于视觉数据与动作数据之间的模态差距。我们引入可微机器人渲染，这是一种方法，使机器人身体的视觉外观能够直接对其控制参数进行微分。我们的模型集成了受运动学约束的可变形模型和高斯溅射技术，兼容任何机器人形式因素和自由度。我们展示了其在包括从图像重建机器人姿态和通过视觉语言模型控制机器人等应用中的能力与用途。定量和定性结果表明，我们的可微渲染模型为从像素直接提供机器人控制有效梯度，为视觉基础模型在机器人领域的未来应用奠定了基础。