网格神经元胞自动机

纹理建模与合成对于增强虚拟环境的真实感至关重要。直接在三维空间中合成纹理的方法相较于基于 UV 映射的方法具有明显优势，因其可生成无缝纹理且更贴近自然界中纹理的形成方式。我们提出网格神经元胞自动机（MeshNCA），一种直接在三维网格上合成动态纹理而无需任何 UV 映射的方法。MeshNCA 是一类广义的元胞自动机，可作用于排列于非网格结构（如三维网格顶点）上的一组单元。MeshNCA 支持多模态监督，并可使用图像、文本提示与运动矢量场等不同目标进行训练。仅在 Icosphere 网格上训练后，MeshNCA 展现出卓越的测试时泛化能力，并能实时在未见过的网格上合成纹理。我们通过定性与定量比较证明，MeshNCA 在泛化性与生成高质量纹理方面优于其他三维纹理合成方法。此外，我们引入一种嫁接已训练 MeshNCA 实例的方法，实现纹理间的插值。MeshNCA 支持多种用户交互，包括纹理密度/方向控制、嫁接/重生成笔刷以及运动速度/方向控制。最后，我们使用 WebGL 着色语言实现 MeshNCA 模型的前向传播，并在在线交互演示中展示所训练模型，该演示可在个人电脑与智能手机上访问，网址为 https://meshnca.github.io。