Era3D：基于高效逐行注意力的高分辨率多视图扩散
计算机视觉与模式识别
2024-11-28 v3
摘要
本文提出Era3D，一种新的多视图扩散方法，可从单视图图像生成高分辨率多视图图像。尽管多视图生成领域取得了显著进展，但现有方法仍存在摄像机假设不符、效率低下以及分辨率不足的问题，导致生成的多视图图像质量较差。具体而言，这些方法假设输入图像应符合预定义的摄像机类型，例如焦距固定的透视摄像机，从而在假设不成立时导致图像形状失真。此外，他们采用全图或稠密多视图注意力机制，随着图像分辨率的提升，计算复杂度呈指数级增长，导致训练成本不可接受。为弥合假设与现实之间的差距，Era3D首先提出一种基于扩散的摄像机预测模块，用于估计输入图像的焦距和仰角，从而允许我们的方法在不产生形状失真的前提下生成图像。此外，采用一种简单而高效的注意力层——逐行注意力（row-wise attention），以实现多视图扩散中的尺距先验，从而促进跨视图信息融合。因此，与当前最先进的方法相比，Era3D能够在最高达512×512分辨率下生成高质量多视图图像，同时将计算复杂度降低了12倍。全面实验表明，Era3D能够从多样化的单视图输入图像中重建出高质量且细节丰富的3D网格，显著优于基准多视图扩散方法。项目页面：https://penghtyx.github.io/Era3D/。
引用
@article{arxiv.2405.11616,
title = {Era3D: High-Resolution Multiview Diffusion using Efficient Row-wise Attention},
author = {Peng Li and Yuan Liu and Xiaoxiao Long and Feihu Zhang and Cheng Lin and Mengfei Li and Xingqun Qi and Shanghang Zhang and Wenhan Luo and Ping Tan and Wenping Wang and Qifeng Liu and Yike Guo},
journal= {arXiv preprint arXiv:2405.11616},
year = {2024}
}
备注
NeurIPS2024