一种用于学习型视频去交错与去马赛克的新型多图像架构：结合并行可变形卷积与自注意力模块
图像与视频处理
2024-04-22 v1
摘要
尽管真实世界的视频去交错与去马赛克非常适合通过从合成退化数据中进行监督学习来实现，因为退化模型是已知且固定的，但与去噪和超分辨率任务相比，学习型视频去交错与去马赛克受到的关注要少得多。我们提出了一种用于视频去交错或去马赛克的新型多图像架构，通过将带有缺失数据的多个辅助图像与待重建的参考图像进行对齐，分别利用改进的可变形卷积模块和新型残差高效 top- 自注意力（kSA）模块，在特征空间中受益于局部和全局时空相关性。我们使用独立的重建模块来估计不同类型的缺失数据。我们在合成或真实世界数据集上的大量实验结果表明，所提出的新型架构在 PSNR、SSIM 和感知质量方面均提供了显著超越现有技术的优异结果，适用于这两项任务。我们提供了消融研究，以论证并展示对可变形卷积和残差高效 kSA 模块所做的每项新颖改进的益处。代码可用：https://github.com/KUIS-AI-Tekalp-Research-Group/Video-Deinterlacing。
引用
@article{arxiv.2404.13018,
title = {A New Multi-Picture Architecture for Learned Video Deinterlacing and Demosaicing with Parallel Deformable Convolution and Self-Attention Blocks},
author = {Ronglei Ji and A. Murat Tekalp},
journal= {arXiv preprint arXiv:2404.13018},
year = {2024}
}
备注
13 pages, 6 figures, accepted to IMAVIS