纠正视角：对 Zero-1-to-3 的批判性检视
计算机视觉与模式识别
2024-11-26 v1 机器学习
摘要
新视角合成是图像到 3D 生成中的一个基本挑战，需要从一组条件图像及其相对姿态生成目标视图图像。虽然最近的方法如 Zero-1-to-3 在条件潜在扩散模型中展现了有前景的成果，但在处理多个条件图像时，面临着生成一致且准确的新视角的显著挑战。本文对 Zero-1-to-3 在扩散 2D-条件 UNet 中的空间转换器中的交叉注意力机制进行了彻底的调查。我们的分析揭示了 Zero-1-to-3 的理论框架与其实现之间存在一个关键性差异，具体而言，在处理图像条件上下文方面存在问题。我们提出了两个重要改进：(1) 一个纠正的实现，使交叉注意力机制能够有效工作；(2) 一个能够同时利用多个条件视图的增强架构。我们的理论分析和初步结果表明，潜在地可以提高新视角合成的一致性和准确性。
引用
@article{arxiv.2411.15706,
title = {Fixing the Perspective: A Critical Examination of Zero-1-to-3},
author = {Jack Yu and Xueying Jia and Charlie Sun and Prince Wang},
journal= {arXiv preprint arXiv:2411.15706},
year = {2024}
}