基于时间引导双边学习的方向感知视频去摩尔纹方法
计算机视觉与模式识别
2023-12-15 v2
摘要
在屏幕上拍摄图像或视频时会出现摩尔纹，严重降低所拍摄图像或视频的质量。尽管近期取得了一些进展，现有的视频去摩尔纹方法忽视了摩尔纹的物理特性和形成过程，显著限制了视频恢复的效果。本文提出了一个统一框架 DTNet，一种用于视频去摩尔纹的方向感知且时间引导的双边学习网络。DTNet 有效地融合了摩尔纹去除、对齐、色彩校正和细节精修的过程。我们提出的 DTNet 包含两个主要阶段：帧级方向感知去摩尔纹与对齐（FDDA）以及色调与细节精修（TDR）。在 FDDA 中，我们采用多个方向性 DCT 模态在频域执行摩尔纹去除过程，有效检测显著的摩尔纹边缘。随后，对去摩尔纹后的特征进行粗粒度和细粒度对齐，以促进邻域信息的利用。在 TDR 中，我们提出一种时间引导的双边学习流水线，在保留 FDDA 中恢复的频率信息的同时，减轻摩尔纹造成的色彩和细节退化。在 FDDA 对齐的时间特征引导下，TDR 中学习用于恢复最终干净帧的仿射变换。大量实验表明，我们的视频去摩尔纹方法在 PSNR 上比最先进的方法高出 2.3 dB，并提供了更优的视觉体验。我们的代码可在 https://github.com/rebeccaeexu/DTNet 获取。
引用
@article{arxiv.2308.13388,
title = {Direction-aware Video Demoireing with Temporal-guided Bilateral Learning},
author = {Shuning Xu and Binbin Song and Xiangyu Chen and Jiantao Zhou},
journal= {arXiv preprint arXiv:2308.13388},
year = {2023}
}
备注
Accepted in AAAI'24