CloDS：基于视觉的无监督未知条件下的布料动力学学习

深度学习已在模拟复杂动态系统方面展现出惊人的能力。然而，现有方法需要已知的物理属性作为监督或输入，限制了其在未知条件下的适用性。为探索这一挑战，我们提出布料动力学 grounding (CDG)，这是一种用于从多视角视觉观察中学习布料动力学的无监督场景。我们进一步提出布料动力学 splatting (CloDS)，这是一种为CDG设计的无监督动态学习框架。CloDS采用三阶段管道，首先进行视频到几何 grounding，然后在对 grounding 的网格上训练动力学模型。为应对 grounding 过程中出现的大规模非线性变形和严重自遮挡，我们引入双位置不透明度调制，支持通过基于网格的高斯溅射在视频到几何 grounding 阶段实现2D观察与3D几何之间的双向映射。它同时考虑高斯组件的绝对位置和相对位置。综合的实验评估表明，CloDS能够有效地从视觉数据中学习布料动力学，同时在未见配置方面保持强大的泛化能力。我们的代码已公开于 https://github.com/whynot-zyl/CloDS。可视化结果可在 https://github.com/whynot-zyl/CloDS_video 查看。