Consistent123：改进单图到 3D 物体合成的一致性
计算机视觉与模式识别
2023-10-13 v1
摘要
大型图像扩散模型实现了高质量且具备优异零样本能力的新视角合成。然而，此类基于图像到图像翻译的模型无法保证视角一致性，限制了其在 3D 重建与图像到 3D 生成等下游任务中的表现。为赋予一致性，我们提出 Consistent123，通过引入额外的跨视角注意力层与共享自注意力机制同时合成新视角。所提注意力机制改善了所有合成视角间的交互，以及条件视角与新视角间的对齐。在采样阶段，该架构支持在固定长度训练下同时生成任意数量的视角。我们还引入渐进式无分类器引导策略，以在合成物体视角的纹理与几何间取得权衡。定性与定量实验表明，Consistent123 在视角一致性上大幅优于基线。此外，我们展示了 Consistent123 在多种下游任务上的显著提升，显示出其在 3D 生成领域的巨大潜力。项目页面见 consistent-123.github.io。
引用
@article{arxiv.2310.08092,
title = {Consistent123: Improve Consistency for One Image to 3D Object Synthesis},
author = {Haohan Weng and Tianyu Yang and Jianan Wang and Yu Li and Tong Zhang and C. L. Philip Chen and Lei Zhang},
journal= {arXiv preprint arXiv:2310.08092},
year = {2023}
}
备注
For more qualitative results, please see https://consistent-123.github.io/