BlazeBVD：让尺度-时间均衡在盲视频去闪烁中重焕生机
计算机视觉与模式识别
2024-03-12 v1
摘要
在图像处理和视频生成蓬勃发展的背景下，开发用于增强视频时间一致性的盲视频去闪烁（BVD）算法正变得日益重要。然而，视频数据复杂的特性使得深度学习方法的训练变得复杂，导致资源消耗高和 instability，尤其是在严重的光照闪烁情况下。这凸显了在像素值之外引入紧凑表示以推进 BVD 研究和应用的迫切需求。受经典的尺度-时间均衡（STE）启发，我们的工作引入了一种名为 BlazeBVD 的直方图辅助解决方案，以实现高保真且快速的 BVD。与直接通过时间平滑颜色直方图来校正像素值的 STE 不同，BlazeBVD 利用 STE 滤波内平滑的照度直方图，缓解了使用神经网络学习时间数据的挑战。在技术上，BlazeBVD 首先将像素值浓缩为照度直方图，以精确捕捉闪烁和局部曝光变化。然后对这些直方图进行平滑处理，生成奇异帧集、滤波照度图和曝光图。借助这些去闪烁先验，BlazeBVD 利用 2D 网络恢复受光照变化或局部曝光问题影响的忠实且一致的纹理。BlazeBVD 还结合了轻量级 3D 网络来修正轻微的时间不一致性，避免了资源消耗问题。在合成、真实世界和生成视频上的综合实验展示了 BlazeBVD 优越的定性和定量结果，推理速度比 SOTA 快达 10 倍。
引用
@article{arxiv.2403.06243,
title = {BlazeBVD: Make Scale-Time Equalization Great Again for Blind Video Deflickering},
author = {Xinmin Qiu and Congying Han and Zicheng Zhang and Bonan Li and Tiande Guo and Pingyu Wang and Xuecheng Nie},
journal= {arXiv preprint arXiv:2403.06243},
year = {2024}
}