EpiDiff: 通过局部对极约束扩散增强多视图合成
计算机视觉与模式识别
2024-04-03 v3
摘要
从单视图生成多视图图像有助于实现以单张图像为条件的 3D 网格的快速生成。近期将 3D 全局表示引入扩散模型的方法已展现出生成一致多视图的潜力，但它们降低了生成速度，并在保持泛化性和质量方面面临挑战。为了解决这个问题，我们提出了 EpiDiff，一种局部交互式多视图扩散模型。该方法的核心是将一个轻量级的对极注意力块插入到冻结的扩散模型中，利用对极约束实现相邻视图特征图之间的跨视图交互。新初始化的 3D 建模模块保留了扩散模型的原始特征分布，展现出与各种基础扩散模型的兼容性。实验表明，EpiDiff 仅需 12 秒即可生成 16 张多视图图像，并且在 PSNR、SSIM 和 LPIPS 等质量评估指标上超越了以往的方法。此外，EpiDiff 能够生成更多样化的视图分布，从而提高了从生成的多视图进行重建的质量。请访问我们的项目页面 https://huanngzh.github.io/EpiDiff/。
引用
@article{arxiv.2312.06725,
title = {EpiDiff: Enhancing Multi-View Synthesis via Localized Epipolar-Constrained Diffusion},
author = {Zehuan Huang and Hao Wen and Junting Dong and Yaohui Wang and Yangguang Li and Xinyuan Chen and Yan-Pei Cao and Ding Liang and Yu Qiao and Bo Dai and Lu Sheng},
journal= {arXiv preprint arXiv:2312.06725},
year = {2024}
}
备注
Project page: https://huanngzh.github.io/EpiDiff/