DragMesh：交互式三维生成变得简单

虽然生成模型在创建静态三维内容方面表现出色，但追求能够理解物体如何运动和响应交互的系统仍然是一个基本挑战。当前关于关节运动的方法处于十字路口：它们要么物理一致但速度太慢无法实时使用，要么是生成式的但违反了基本运动学约束。我们提出了DragMesh，一个围绕轻量级运动生成核心构建的实时交互式三维关节运动鲁棒框架。我们的核心贡献是一种新颖的解耦运动学推理与运动生成框架。首先，通过将语义意图推理（决定关节类型）与几何回归（使用运动学预测网络KPP-Net决定轴和原点）解耦，推断潜在关节参数。其次，为了利用对偶四元数表示刚体运动的紧凑、连续和无奇异点特性，我们开发了一种新颖的对偶四元数变分自编码器（DQ-VAE）。该DQ-VAE接收这些预测先验以及原始用户拖拽操作，以生成完整且合理的运动轨迹。为确保严格遵守运动学约束，我们通过FiLM（特征线性调制）条件化将关节先验注入DQ-VAE的每一层解码器。这种持续的、多尺度指导辅以数值稳定的叉积损失以保证轴对齐。这种解耦设计使DragMesh能够实现实时性能，并在无需重新训练的情况下在新物体上实现合理的生成式关节运动，为迈向生成式三维智能迈出了实用一步。代码：https://github.com/AIGeeksGroup/DragMesh。网站：https://aigeeksgroup.github.io/DragMesh。