CGS-GAN：用于高分辨率人头合成的三维一致高斯泼溅 GAN
计算机视觉与模式识别
2026-01-23 v3
摘要
最近，基于三维高斯泼溅的 3D GAN 被提出用于高质量人头合成。然而，现有方法通过将随机潜在向量条件化于当前相机位置来稳定训练并增强陡峭视角的渲染质量。这损害了三维一致性，因为我们观察到每次相机移动时重新合成三维人头都会出现显著的身份变化。相反，将相机固定在单一视角可以为该视角产生高质量渲染，但导致新视角的性能不佳。移除视角条件化通常会破坏 GAN 训练，经常导致训练崩溃。为应对这些挑战，我们提出了 CGS-GAN，一个新颖的三维高斯泼溅 GAN 框架，无需依赖视角条件化即可实现稳定训练和高品质三维一致的人头合成。为确保训练稳定性，我们引入了一种多视角正则化技术，以最小的计算开销增强生成器收敛。此外，我们适配了现有三维高斯泼溅 GAN 中使用的条件损失，并提出了一种生成器架构，旨在不仅稳定训练，还促进高效渲染和简单扩展，支持最高 的输出分辨率。为评估 CGS-GAN 的能力，我们从 FFHQ 整理了一个新数据集。该数据集支持极高分辨率，聚焦于人头的更大区域，减少视角依赖伪影以改善三维一致性，并排除被手或其他物体遮挡的受试者图像。因此，我们的方法实现了极高的渲染质量，在竞争性 FID 分数下得到支持，同时确保一致的三维场景生成。查看我们的项目页面：https://fraunhoferhhi.github.io/cgs-gan/
引用
@article{arxiv.2505.17590,
title = {CGS-GAN: 3D Consistent Gaussian Splatting GANs for High Resolution Human Head Synthesis},
author = {Florian Barthel and Wieland Morgenstern and Paul Hinzer and Anna Hilsmann and Peter Eisert},
journal= {arXiv preprint arXiv:2505.17590},
year = {2026}
}
备注
Main paper 12 pages, supplementary materials 8 pages