Patch Craft:基于深度建模与块匹配的视频去噪
计算机视觉与模式识别
2021-11-02 v2
摘要
自然图像的非局部自相似性质已被广泛利用以解决各种图像处理问题。对于视频序列,由于时间冗余,利用这一特性更为有益。在图像与视频去噪的背景下,许多经典导向的算法采用自相似性,将数据分割为重叠块,聚集相似块组并对其进行某种共同处理。随着卷积神经网络(CNN)的出现,基于块的框架被抛弃。大多数CNN去噪器在整个图像上操作,仅通过使用大感受野隐式地利用非局部关系。本工作提出了一种在视频去噪背景下利用自相似性的新方法,同时仍依赖于常规卷积架构。我们引入块拼帧(patch-craft frames)的概念——与真实帧相似、由匹配块平铺构建的人工帧。我们的算法用块拼帧扩充视频序列并将其输入CNN。我们展示了所提方法在去噪性能上获得的显著提升。
引用
@article{arxiv.2103.13767,
title = {Patch Craft: Video Denoising by Deep Modeling and Patch Matching},
author = {Gregory Vaksman and Michael Elad and Peyman Milanfar},
journal= {arXiv preprint arXiv:2103.13767},
year = {2021}
}