局部自适应神经三维形变模型
计算机视觉与模式识别
2024-01-08 v1
摘要
我们提出了局部自适应形变模型（LAMM），这是一个用于学习生成和操作三维网格的高度灵活的自编码器（AE）框架。我们采用简单的自监督训练方案训练架构，其中一组稀疏控制顶点上的输入位移用于覆盖编码的几何形状，以将一个训练样本转换为另一个。在推理过程中，我们的模型生成一个密集输出，该输出在局部遵循指定的稀疏几何形状，同时保持编码对象的整体外观。该方法在解耦操作几何形状和三维网格重建方面均取得了SOTA性能。据我们所知，LAMM是第一个能够在单次前向传递中直接对三维顶点几何进行局部控制的端到端框架。非常高效的计算图使得我们的网络训练时仅需以往方法所需内存的一小部分，并且在推理过程中运行更快，可在单CPU线程上以60fps的速度生成12k顶点网格。我们进一步将局部几何控制作为更高层级编辑操作的基础，并提出了一系列衍生功能，如对象部件的交换和采样。代码和预训练模型可在 https://github.com/michaeltrs/LAMM 找到。
引用
@article{arxiv.2401.02937,
title = {Locally Adaptive Neural 3D Morphable Models},
author = {Michail Tarasiou and Rolandos Alexandros Potamias and Eimear O'Sullivan and Stylianos Ploumpis and Stefanos Zafeiriou},
journal= {arXiv preprint arXiv:2401.02937},
year = {2024}
}
备注
10 pages, 9 figures, 2 tables