Cloth-Splatting：基于 RGB 监督的 3D 衣物状态估计
计算机视觉与模式识别
2025-01-06 v1 机器人学
摘要
我们提出了 Cloth-Splatting，一种通过预测-更新框架从 RGB 图像估计衣物 3D 状态的方法。Cloth-Splatting 利用动作条件动力学模型预测未来状态，并使用 3D Gaussian Splatting 更新预测状态。我们的核心见解是，将基于 3D 网格的表示与 Gaussian Splatting 相结合，使我们能够在衣物状态空间和图像空间之间定义一个可微映射。这使得仅使用 RGB 监督即可采用基于梯度的优化技术来修正不准确的状态估计。我们的实验表明，与当前基线方法相比，Cloth-Splatting 不仅提高了状态估计精度，还减少了收敛时间。
引用
@article{arxiv.2501.01715,
title = {Cloth-Splatting: 3D Cloth State Estimation from RGB Supervision},
author = {Alberta Longhini and Marcel Büsching and Bardienus P. Duisterhof and Jens Lundell and Jeffrey Ichnowski and Mårten Björkman and Danica Kragic},
journal= {arXiv preprint arXiv:2501.01715},
year = {2025}
}
备注
Accepted at the 8th Conference on Robot Learning (CoRL 2024). Code and videos available at: kth-rpl.github.io/cloth-splatting