通过无蒙皮图像传输学习高保真布料动画

我们提出了一种从给定身体姿态生成3D服装变形的新方法，这是虚拟试穿和扩展现实等广泛应用的关键。为简化布料动力学，现有方法大多依赖线性混合蒙皮来获得低频姿态服装形状，并仅回归高频皱纹。然而，由于缺乏显式的蒙皮监督，基于蒙皮的方法在给服装施加姿态时往往产生不对齐的形状，从而破坏高频信号并无法恢复高保真皱纹。为解决这一问题，我们提出了一种无蒙皮方法，分别独立估计姿态服装的低频顶点位置和高频局部皱纹细节的顶点法线。通过这种方式，每种频率模态都可以有效解耦，并由变形服装的几何结构直接监督。为进一步提高动画的视觉质量，我们将两种顶点属性编码为渲染纹理图像，使得3D服装变形可以等价地通过2D图像传输实现。这使我们能够利用强大的预训练图像模型来恢复皱纹中的细粒度视觉细节，同时保持对不同拓扑结构服装的优越可扩展性，而无需依赖手动UV分割。最后，我们提出了一种多模态融合，将两种频率模态的约束相结合，稳健地从传输图像中恢复变形的3D服装。大量实验表明，我们的方法在各种服装类型上显著提升了动画质量，并比最先进方法恢复了更精细的皱纹。