DragAPart：学习铰接物体的部件级运动先验
计算机视觉与模式识别
2024-07-30 v2
摘要
我们提出 DragAPart，一种给定图像和一组拖拽操作作为输入，生成同一物体响应拖拽动作的新图像的方法。与以往专注于重新定位物体的工作不同，DragAPart 预测部件级交互，例如打开和关闭抽屉。我们将此问题作为学习通用运动模型的代理进行研究，该模型不限于特定的运动学结构或物体类别。我们从一个预训练的图像生成器出发，并在我们新引入的合成数据集 Drag-a-Move 上对其进行微调。结合新的拖拽编码方式和数据集随机化，该模型能很好地泛化到真实图像和不同类别。与先前的运动控制生成器相比，我们展示出显著更好的部件级运动理解。
引用
@article{arxiv.2403.15382,
title = {DragAPart: Learning a Part-Level Motion Prior for Articulated Objects},
author = {Ruining Li and Chuanxia Zheng and Christian Rupprecht and Andrea Vedaldi},
journal= {arXiv preprint arXiv:2403.15382},
year = {2024}
}
备注
Project page: https://dragapart.github.io/