学习视差Transformer网络用于立体图像 JPEG 伪影去除
计算机视觉与模式识别
2022-07-18 v1
摘要
在立体设置下，通过利用第二视角提供的额外信息，图像 JPEG 伪影去除的性能可进一步提升。然而，将这一信息用于立体图像 JPEG 伪影去除是一项巨大挑战，因为现有的压缩伪影使得像素级视角对齐变得困难。本文中，我们提出一种新颖的视差Transformer网络（PTNet）来融合立体图像对的信息以进行立体图像 JPEG 伪影去除。具体而言，提出一种精心设计的对称双向视差Transformer模块，以在不同视角间匹配具有相似纹理的特征，而非进行像素级视角对齐。由于遮挡与边界问题，提出一种基于置信度的跨视角融合模块来实现两视角更好的特征融合，其中跨视角特征由置信度图进行加权。特别地，我们采用由粗到细的设计进行跨视角交互，从而获得更好性能。综合实验结果表明，我们的 PTNet 能有效去除压缩伪影，并优于其他被测的当前最优（state-of-the-art）方法。
引用
@article{arxiv.2207.07335,
title = {Learning Parallax Transformer Network for Stereo Image JPEG Artifacts Removal},
author = {Xuhao Jiang and Weimin Tan and Ri Cheng and Shili Zhou and Bo Yan},
journal= {arXiv preprint arXiv:2207.07335},
year = {2022}
}
备注
11 pages, 12 figures, ACM MM2022