SignSplat：通过高斯泼溅渲染手语
计算机视觉与模式识别
2025-05-06 v1
摘要
当前通过高斯泼溅进行条件性人体渲染的最先进方法通常关注从多视角捕捉的简单身体动作，这常见于舞蹈或行走场景。然而，对于更复杂的用例，如手语，我们较少关注大幅度的身体运动，而更关注手部和面部的细微复杂动作。构建高保真度模型的问题因捕捉手语多视角数据的复杂性而加剧。解决方案是更好地利用序列数据，确保我们能够通过利用时间变异性来克服仅有少数视角带来的有限信息。尽管如此，从序列级数据学习需要极其精确且一致的模型拟合，以确保外观在复杂运动中保持一致。我们专注于如何实现这一点，通过约束网格参数，从少数视角构建一个精确的高斯泼溅框架，能够对细微的人体运动进行建模。我们利用高斯参数上的正则化技术来减轻过拟合和渲染伪影。此外，我们提出了一种新的自适应控制方法，用于在网格表面加密高斯点并修剪泼溅点。为了证明我们方法的准确性，我们渲染了新颖的手语视频序列，并基于神经机器翻译方法进行手语拼接。在基准数据集上，我们的方法达到了最先进的性能；在高度关节化和复杂的手语运动上，我们显著优于竞争方法。
引用
@article{arxiv.2505.02108,
title = {SignSplat: Rendering Sign Language via Gaussian Splatting},
author = {Maksym Ivashechkin and Oscar Mendez and Richard Bowden},
journal= {arXiv preprint arXiv:2505.02108},
year = {2025}
}