MeshUp: 通过混合得分蒸馏实现多目标网格变形
计算机视觉与模式识别
2025-02-12 v3 图形学
摘要
我们提出了 MeshUp 技术，可将 3D 网格变形至多个目标概念，并且直观地控制每个概念表达的区域。便利的是，这些概念可以定义为文本查询（如“一只狗”和“一只海龟”），或作为灵感图像，局部区域可以选取网格上任意数量的顶点。我们可以使用一种新颖的得分蒸馏方法（称为混合得分蒸馏，Blended Score Distillation, BSD）有效控制这些概念的影响并将其混合。BSD 在扩散模型的去噪 U-Net 的每个注意力层上运行，作为从中提取和注入每个目标激活以形成统一的去噪管道，计算变形梯度。为了局部化这些激活的表达，我们在网格表面创建概率性区域感兴趣（ROI）图，并将其转化为 3D 一致的掩码，用于控制这些激活的表达。我们经验性地证明了 BSD 的有效性，并展示了其能够将各种网格变形至多个目标。我们的项目页面位于 https://threedle.github.io/MeshUp。
引用
@article{arxiv.2408.14899,
title = {MeshUp: Multi-Target Mesh Deformation via Blended Score Distillation},
author = {Hyunwoo Kim and Itai Lang and Noam Aigerman and Thibault Groueix and Vladimir G. Kim and Rana Hanocka},
journal= {arXiv preprint arXiv:2408.14899},
year = {2025}
}
备注
Project page: https://threedle.github.io/MeshUp