DECOLLAGE：基于可控、局部化和学习的 3D 细节化方法
计算机视觉与模式识别
2024-09-11 v1 图形学
机器学习
摘要
我们提出一种 3D 模型方法，使用户能够通过机器学习对 3D 形状进行细化或细化，拓展 AI 辅助 3D 内容创建的能力。给定粗糙的体素形状（例如由简单盒子拉伸工具或生成式建模产生），用户可直接在粗糙形状的不同区域上“绘制”所需的目标样式，这些样式代表来自输入示例形状中引人注目的几何细节。这些区域随后被上采样为高分辨率几何体，遵循绘制的样式。为实现可控且局部化的 3D 细节化，我们在 Pyramid GAN 之上进行了掩码感知改造。我们设计了新的结构损失和先验，以确保方法在绘制的样式来源于不同来源（例如不同语义部件甚至不同形状类别）时，既保留所需的粗糙结构，又保留细粒度特征。通过大量实验，我们表明局部细节化能力 enables 了新的交互式创意工作流程和应用。我们的实验进一步表明，与基于全局细节化的先前技术相比，我们的方法生成结构保持、高分辨率风格化几何体，具有更连贯的形状细节和更一致的风格过渡。
引用
@article{arxiv.2409.06129,
title = {DECOLLAGE: 3D Detailization by Controllable, Localized, and Learned Geometry Enhancement},
author = {Qimin Chen and Zhiqin Chen and Vladimir G. Kim and Noam Aigerman and Hao Zhang and Siddhartha Chaudhuri},
journal= {arXiv preprint arXiv:2409.06129},
year = {2024}
}
备注
ECCV 2024 (poster). Code: https://qiminchen.github.io/decollage/