DeformGS：面向高度可变形场景场景流估计的可变形物体操控方法
计算机视觉与模式识别
2024-09-02 v2 机器人学
摘要
教机器人折叠、披覆或重新摆放布料等可变形物体将释放多种自动化应用潜力。尽管刚体操控已取得显著进展，操控可变形物体带来了独特挑战，包括频繁遮挡、无限维状态空间与复杂动力学。正如物体位姿估计与跟踪辅助了刚体操控，高度可变形物体的密集 3D 跟踪（场景流）将赋能机器人新应用，同时辅助既有方法，如模仿学习或通过 real2sim 迁移创建数字孪生。我们提出 DeformGS，一种利用多相机对动态场景同步视频采集来恢复高度可变形场景场景流的方法。DeformGS 基于近期高斯溅射（Gaussian splatting）的进展，该方法学习大量高斯分布的属性以实现最先进且快速的新视角合成。DeformGS 学习一个形变函数，将一组具有规范属性的高斯投影到世界空间。该形变函数使用神经体素编码和多层感知机（MLP）推断高斯位置、旋转和阴影标量。我们施加基于动量守恒与等距性的物理启发正则项，从而得到轨迹误差更小的轨迹。我们还利用现有基础模型 SAM 和 XMEM 生成带噪声掩码，并学习逐高斯掩码以改进物理启发正则。DeformGS 在带阴影和遮挡的高度可变形场景上实现了高质量 3D 跟踪。实验中，DeformGS 相比最先进水平平均提升 3D 跟踪 55.8%。在纹理充足时，DeformGS 在面积为 1.5 x 1.5 m 的布料上达到 3.3 mm 的中位跟踪误差。网站：https://deformgs.github.io
引用
@article{arxiv.2312.00583,
title = {DeformGS: Scene Flow in Highly Deformable Scenes for Deformable Object Manipulation},
author = {Bardienus P. Duisterhof and Zhao Mandi and Yunchao Yao and Jia-Wei Liu and Jenny Seidenschwarz and Mike Zheng Shou and Deva Ramanan and Shuran Song and Stan Birchfield and Bowen Wen and Jeffrey Ichnowski},
journal= {arXiv preprint arXiv:2312.00583},
year = {2024}
}