利用辐射场生成 novel 合成视图的抓取

基于视觉的机器人操作使用摄像机捕获包含待操作对象的一个或多个图像。获取多个图像有助于如果某个对象因视角遮挡而不清晰，但从另一个视角则更为清晰。然而，摄像机需要移动到一系列合适的位置才能捕获多个图像，这需要时间，并且可能由于到达约束而不总是可能。因此，虽然额外的图像可以由于可获得的额外信息而产生更准确的抓取位姿，但采样的额外视角数量越多，时间成本就越高。像高斯溅射这样的场景表示能够从用户指定的 novel 视角渲染出准确的照明机械图像。在本工作中，我们展示了初始结果表明， novel view synthesis 可以在生成抓取位姿时提供额外的上下文。我们的实验在 Graspnet-1billion 数据集上显示， novel 视图在稀疏采样的真实视图之外也提供了力闭抓取，同时改善了抓取覆盖率。我们希望今后能够将此工作扩展到从单个输入图像构建的 radiance fields 中提高抓取提取，例如使用扩散模型或通用 radiance fields。