用于神经角色的高斯阴影投射
计算机视觉与模式识别
2024-01-12 v1
摘要
神经角色模型现在可以从视频中重建详细的几何和纹理,但它们缺乏明确的阴影和着色,导致在生成新视角和姿态或重新打光时出现伪影。包含阴影尤其困难,因为它们是一种全局效应,且所需的二次光线投射成本高昂。我们提出了一种新的阴影模型,使用高斯密度代理,用简单的解析公式替代采样。它支持动态运动,并专为阴影计算而定制,从而避免了密切相关的高斯泼溅所需的仿射投影近似和排序。结合延迟神经渲染模型,我们的高斯阴影能够以最小的开销实现朗伯着色和阴影投射。我们展示了改进的重建效果,在具有直射阳光和硬阴影的挑战性户外场景中,更好地分离了反照率、着色和阴影。我们的方法能够在没有任何用户输入的情况下优化光照方向。因此,与最先进的方法相比,新姿态具有更少的阴影伪影,在新场景中的重新打光也更加真实,为在新环境中摆放神经角色提供了新途径,增加了其适用性。
引用
@article{arxiv.2401.06116,
title = {Gaussian Shadow Casting for Neural Characters},
author = {Luis Bolanos and Shih-Yang Su and Helge Rhodin},
journal= {arXiv preprint arXiv:2401.06116},
year = {2024}
}
备注
14 pages, 13 figures