EVA-Gaussian：基于 3D 高斯的实时人类新视角合成方法，在多视角摄像机设置多样化环境下
计算机视觉与模式识别
2025-03-13 v2
摘要
基于前馈的 3D 高斯溶解方法在人类模型的实时新视角合成方面展现了卓越的能力。然而，当前方法局限于稠密视点配置或受限的图像分辨率。这一局限性阻碍了其在摄像机视角差异广泛的自由视角渲染中的灵活性，也限制了其在常用 GPU 上实时恢复人类细粒细节的能力。为此，我们提出了名为 EVA-Gaussian 的新型管道，用于跨越多样化多视角摄像机设置的人类新视角合成。具体而言，我们首先设计了高效跨视角注意力 (EVA) 模块，以有效融合高分辨率输入下的跨视角信息，同时在稀疏视角设置下最小化时间和计算开销。此外，我们引入特征细化机制，以预测 3D 高斯的属性并为每个高斯分配特征值，从而纠正因位置估计几何不准确性导致的伪影，并提升整体视觉保真度。在 THuman2.0 和 THumansit 数据集上的实验结果表明，EVA-Gaussian 在多样化摄像机设置下的渲染质量显著优于现有方法。项目页面：https://zhenliuzju.github.io/huyingdong/EVA-Gaussian。
引用
@article{arxiv.2410.01425,
title = {EVA-Gaussian: 3D Gaussian-based Real-time Human Novel View Synthesis under Diverse Multi-view Camera Settings},
author = {Yingdong Hu and Zhening Liu and Jiawei Shao and Zehong Lin and Jun Zhang},
journal= {arXiv preprint arXiv:2410.01425},
year = {2025}
}