基于 3D 扩散先验的带纹理 3D 生成性形变
计算机视觉与模式识别
2025-02-21 v1 人工智能
摘要
带纹理 3D 形变创建平滑且合理的两个 3D 对象之间的插值序列，关注形状和纹理的转换。这对电影制作等创意应用至关重要。以前的方法依赖于建立点到点对应关系并确定平滑变形轨迹，这本质上将其限制于无纹理、拓扑对齐数据集上的形状-only 形变。这种限制导致预处理费用高且泛化性差。为克服这些挑战，我们提出了一种使用 3D 扩散先验的 3D 生成性形变方法。不同于依赖显式对应和变形的以前方法，我们的方法消除了获取对应关系的额外需求，并利用 3D 扩散先验生成形变。具体而言，我们引入一个 3D 扩散模型，并在三个层次上对源信息和目标信息进行插值：初始噪声、模型参数和条件特征。我们进一步探索了注意力融合策略以生成更平滑的形变序列。为进一步提高语义插值合理性和生成 3D 表面的质量，我们提出了两种策略：(a) 标记重排序，其中我们基于语义分析匹配近似标记以引导扩散模型去噪过程中隐式对应的生成；以及 (b) 低频增强，其中我们增强标记中的低频信号以提高生成表面的质量。实验结果表明，我们的方法在多样化的跨类别对象对上实现了形变平滑性和合理性的优势，为带纹理表示的 3D 形变提供了一种新颖的生成性方法。
引用
@article{arxiv.2502.14316,
title = {Textured 3D Regenerative Morphing with 3D Diffusion Prior},
author = {Songlin Yang and Yushi Lan and Honghua Chen and Xingang Pan},
journal= {arXiv preprint arXiv:2502.14316},
year = {2025}
}