3Deformer：一种图像引导网格变形的通用框架
计算机视觉与模式识别
2023-07-20 v1
摘要
我们提出 3Deformer，一种用于交互式 3D 形状编辑的通用框架。给定具有语义材质的源 3D 网格和用户指定的语义图像，3Deformer 能够准确依据语义图像的形状引导编辑源网格，同时尽可能保持源拓扑刚性。近期关于 3D 形状编辑的研究多聚焦于学习神经网络来预测 3D 形状，这需要高成本的 3D 训练数据集且限于处理数据集中涉及的对象。与这些研究不同，我们的 3Deformer 是一个无需训练且通用的框架，仅需要现成易得的语义图像作为监督，并兼容编辑不受数据集限制的各种对象。在 3Deformer 中，源网格利用可微渲染技术，根据语义图像与网格材质之间的对应关系进行变形。然而，用简单 2D 图像引导复杂 3D 形状带来了额外挑战，即需保证编辑后网格的变形精度、表面平滑度、几何刚性和全局同步性。为应对这些挑战，我们提出一种分层优化架构以平衡全局与局部形状特征，并进一步提出多种策略与损失以改善精度、平滑度、刚性等属性。大量实验表明，我们的 3Deformer 能够产生令人印象深刻的结果并达到最先进水平。
引用
@article{arxiv.2307.09892,
title = {3Deformer: A Common Framework for Image-Guided Mesh Deformation},
author = {Hao Su and Xuefeng Liu and Jianwei Niu and Ji Wan and Xinghao Wu},
journal= {arXiv preprint arXiv:2307.09892},
year = {2023}
}