Frankenstein：在单一三平面中生成语义组合3D场景

我们提出了Frankenstein，这是一个基于扩散的框架，能够单次生成语义组合3D场景。与输出单一、统一3D形状的现有方法不同，Frankenstein同时生成多个分离的形状，每个形状对应一个语义上有意义的部分。3D场景信息被编码在一个单一的三平面张量中，从中可以解码出多个符号距离函数（SDF）场来表示组合形状。在训练期间，自编码器将三平面压缩到潜空间中，然后采用去噪扩散过程来近似组合场景的分布。Frankenstein在生成具有自动分离部分的房间内部和人类虚拟形象方面展现了良好的结果。生成的场景促进了诸多下游应用，如逐部分重新纹理化、房间内物体重新布置或虚拟形象衣物重定向。我们的项目页面位于：https://wolfball.github.io/frankenstein/ 。