迈向无莫尔纹且保细节的去马赛克
计算机视觉与模式识别
2023-05-16 v1 图像与视频处理
摘要
3D卷积被去马赛克神经模型普遍采用，如同解决其他图像复原问题一样。与直觉相反，我们表明3D卷积隐式阻碍了RGB色彩光谱交换互补信息，导致对局部空间高频分量的光谱不一致推断。因此，浅层3D卷积网络遭受莫尔（Moiré）伪影，而深层3D卷积导致过度平滑。我们分析了去马赛克与预测可用像素间丢失像素的其他问题（例如超分辨率重建）之间的根本差异，并给出了无莫尔纹与保细节之间冲突的潜在原因。从这一新视角，我们的工作将常见标准卷积过程解耦为光谱与空间特征聚合，从而在光谱维度加强全局通信的同时尊重空间维度的局部对比度。我们将去马赛克模型应用于两项任务：联合去马赛克-去噪与独立去马赛克。在两项应用中，我们的模型以与当前顶尖模型相似或更低的的计算成本，大幅减轻了莫尔纹与过度平滑等伪影，这一点经多种评估验证。源代码将随论文发表发布。
引用
@article{arxiv.2305.08585,
title = {Toward Moir\'e-Free and Detail-Preserving Demosaicking},
author = {Xuanchen Li and Yan Niu and Bo Zhao and Haoyuan Shi and Zitong An},
journal= {arXiv preprint arXiv:2305.08585},
year = {2023}
}
备注
11 pages, 5 figures, 5 tables