PokeFlex：用于机器人操作的真实体积可变形物体数据集

数据驱动方法在解决具有挑战性的操作任务方面显示出巨大的潜力；然而，其在可变形物体领域的应用受到数据匮乏的限制。为此，我们提出了PokeFlex，一个包含真实世界多模态数据且数据可对齐标注的数据集。数据模态包括3D纹理网格、点云、RGB图像和深度图。这些数据可用于多个下游任务，例如在线3D网格重建，亦可潜在地支持如基于网格仿真的传统控制方法在真实世界的部署。为应对真实世界3D网格重建的挑战，我们利用专业的体积捕获系统实现了完整360°的重建。PokeFlex包含18个具有不同刚度和形状的可变形物体。通过将物体落在平坦表面上或用机器人臂戳打物体来生成变形。对于后者，我们也报告了相互作用力和接触位置。使用不同的数据模态，我们展示了一个用例，训练的模型能够鉴别多模态数据的新颖性，在我们知识中，这是基于多模态数据的多目标在线模板基网格重建的先进技术。我们建议读者访问我们的网站(https://pokeflex-dataset.github.io/)获取更多演示和示例。