ATOP：基于文本与运动个人化的 3D 部件演化方法

我们提出了 ATOP（Articulate That Object Part，即“演化该对象部件”），这是一种基于运动个人化的少样本方法，用于依据文本提示中指定的部件及其运动，对静态 3D 对象进行演化。由于现有方法缺乏带有运动属性注释的数据集，难以在此任务上取得良好泛化。本文利用文本输入发挥现代扩散模型的能力，生成针对正确对象类别和部件的合理运动样本；同时，输入的 3D 对象通过“图像提示”将生成的运动个性化到具体输入对象。我们首先进行少样本微调，为当前扩散模型注入演化 awareness，学习与目标对象部件关联的唯一运动标识符。微调应用于预训练的扩散模型，以可控多视角运动生成为目标，训练时使用小规模参考运动帧序列，展示适当的部件运动。最终得到的运动模型可用于从多个视角生成输入 3D 对象的合理运动。最后，通过可微分渲染将个性化运动迁移到对象的 3D 空间中，通过评分蒸馏采样损失优化部件演化参数。实验在 PartNet-Mobility 和 ACD 数据集上表明，我们的方法能以更高精度生成逼真的运动样本，相较于现有方法在少样本设置下具有更好的 3D 运动预测泛化能力。