基于时空差异的深度视频超分辨率网络

深度超分辨率已取得显著进展，多帧信息的融合进一步提升了重建质量。然而，统计分析表明，视频深度超分辨率仍受到长尾分布的显著影响，长尾效应主要表现为空间非平滑区域和时域变化区域。为解决这些挑战，我们提出一种新型时空差异网络（STDNet），由两个核心分支构成：空间差异分支和时差分支。在空间差异分支中，我们引入空间差异机制以缓解空间非平滑区域的长尾问题。该机制动态地将RGB特征与学习到的空间差异表示进行对齐，实现帧内RGB-D聚合，以进行深度校准。在时差分支中，我们进一步设计了时差策略，优先将相邻RGB和深度帧中的时域变化信息传递到当前深度帧，利用时差表示在时域长尾区域实现精确的运动补偿。广泛的实验结果表明，我们的STDNet有效且优于现有方法。