从失焦和运动模糊的单目视频中进行动态高斯溅射

本文提出了一个统一框架，允许从两种失焦和运动模糊的单目视频中实现高质量的动态高斯溅射。由于失焦模糊和运动模糊的形成过程存在显著差异，现有方法针对其中一种进行专门设计，缺乏同时处理两者的能力。虽然两种模糊可联合建模为基于模糊核的卷积，但准确估计模糊核的内在困难极大限制了该方向的进展。本 work 进一步一步地朝着这一方向发展。特别地，我们提出使用模糊预测网络估计每个像素可靠的模糊核，该网络利用与模糊相关的场景和相机信息，并受到模糊感知稀疏约束的约束。此外，我们引入动态高斯稀疏化策略以缓解 incomplete 区域中高斯的不足，并通过整合未来视角信息来约束场景优化，从而提升新视角合成的性能。大量实验表明，我们的方法在生成来自失焦和运动模糊单目视频的逼真新视角合成方面优于最先进的方法。我们的代码已在 https://github.com/hhhddddddd/dydeblur 上提供。