Repaint123：基于渐进可控 2D 重绘的快速高质量单图生 3D
计算机视觉与模式识别
2023-12-29 v3
摘要
近期的单图生 3D 方法通常采用分数蒸馏采样（SDS）。尽管结果令人印象深刻，但仍存在多视图不一致、纹理过饱和与过度平滑，以及生成速度慢等多个缺陷。为了解决这些缺陷，我们提出了 Repaint123，以缓解多视图偏差和纹理退化，并加速生成过程。其核心思想是结合 2D 扩散模型强大的图像生成能力和重绘策略的纹理对齐能力，从而生成具有一致性的高质量多视图图像。我们进一步提出了针对重叠区域的可见性感知自适应重绘强度，以在重绘过程中提升生成图像的质量。生成的高质量且多视图一致的图像使得能够使用简单的均方误差（MSE）损失进行快速 3D 内容生成。我们进行了大量实验，并表明我们的方法具有卓越的能力，能够在 2 分钟内从零开始生成具有多视图一致性和精细纹理的高质量 3D 内容。我们的项目页面位于 https://pku-yuangroup.github.io/repaint123/。
引用
@article{arxiv.2312.13271,
title = {Repaint123: Fast and High-quality One Image to 3D Generation with Progressive Controllable 2D Repainting},
author = {Junwu Zhang and Zhenyu Tang and Yatian Pang and Xinhua Cheng and Peng Jin and Yida Wei and Munan Ning and Li Yuan},
journal= {arXiv preprint arXiv:2312.13271},
year = {2023}
}
备注
Project page: https://pku-yuangroup.github.io/repaint123/