用于视频稳定的三维多帧融合

在本文中，我们提出了 RStab，一种通过体绘制集成三维多帧融合的视频稳定新框架。有别于传统方法，我们引入三维多帧视角来生成稳定图像，在保持结构的同时解决全帧生成的挑战。我们方法的核心在于稳定绘制（SR），一个体绘制模块，它通过融合特征扩展了图像融合。我们 RStab 框架的核心在于稳定绘制（SR），一个在三维空间中融合多帧信息的体绘制模块。具体而言，SR 通过投影对来自多帧的特征和颜色进行变形，将其融合为描述符以绘制稳定图像。然而，变形信息的精度取决于投影精度，这一因素受动态区域影响显著。为此，我们引入自适应光线范围（ARR）模块以集成深度先验，自适应地定义投影过程的采样范围。此外，我们提出颜色校正（CC）模块，利用光流辅助几何约束以实现准确的颜色聚合。得益于这三个模块，我们的 RStab 在各种数据集上的视场（FOV）、图像质量和视频稳定性方面均展现出优于以往稳定器的性能。