基于通道与空间调制的重捕获原始屏幕图像与视频去摩尔纹
计算机视觉与模式识别
2023-11-01 v1
摘要
用智能手机摄像头拍摄屏幕内容已成为一种常见的信息共享方式。然而，这些图像和视频常受摩尔纹图案退化影响，其由摄像头滤色阵列与数字显示网格间的频率混叠引起。我们观察到原始域中的摩尔纹比 sRGB 域中的更简单，且原始色彩通道中的摩尔纹具有不同特性。因此，我们提出一种面向原始输入的图片与视频去摩尔纹网络。我们引入色彩分离特征分支，并通过通道与空间调制与传统特征混合分支融合。具体而言，通道调制利用经调制的色彩分离特征增强色彩混合特征；空间调制利用大感受野特征调制小感受野特征。此外，我们构建了首个对齐良好的原始视频去摩尔纹（RawVDemoiré）数据集，并提出一种通过插入交替图案的高效时间对齐方法。实验表明，我们的方法在图像与视频去摩尔纹上均达到最先进性能。我们已在 https://github.com/tju-chengyijia/VD_raw 发布代码与数据集。
引用
@article{arxiv.2310.20332,
title = {Recaptured Raw Screen Image and Video Demoir\'eing via Channel and Spatial Modulations},
author = {Huanjing Yue and Yijia Cheng and Xin Liu and Jingyu Yang},
journal= {arXiv preprint arXiv:2310.20332},
year = {2023}
}