基于深度学习的胶片颗粒去除与合成
图像与视频处理
2022-06-16 v1
摘要
本文提出了可应用于视频编码的基于深度学习的胶片颗粒去除与合成技术。由于胶片拍摄图像与视频的物理过程,胶片颗粒固有地存在于模拟胶片内容中。它也可能出现在数字内容中,被刻意添加以反映模拟胶片的时代并唤起观众的特定情感或提升感知质量。在视频编码背景下,胶片颗粒的随机性使其既难以保留又压缩代价高昂。为在高效压缩内容的同时更好地保留它,胶片颗粒在视频编码前被去除并建模,随后在视频解码后恢复。本文提出了一种基于编码器-解码器架构的胶片颗粒去除模型,以及一种基于条件生成对抗网络(cGAN)的胶片颗粒合成模型。两个模型均在由干净(无颗粒)与带颗粒图像对组成的大规模数据集上训练。对所开发方案进行了定量与定性评估,结果表明所提胶片颗粒去除模型在两种配置下能有效滤除不同强度级别的胶片颗粒:1) 已知带颗粒输入的胶片颗粒级别并作为输入提供的非盲配置;2) 胶片颗粒级别未知的盲配置。对于胶片颗粒合成任务,实验结果表明所提模型能够以指定的可控强度级别再现逼真的胶片颗粒。
引用
@article{arxiv.2206.07411,
title = {Deep-based Film Grain Removal and Synthesis},
author = {Zoubida Ameur and Wassim Hamidouche and Edouard François and Miloš Radosavljević and Daniel Menard and Claire-Hélène Demarty},
journal= {arXiv preprint arXiv:2206.07411},
year = {2022}
}