面向偏振滤镜阵列相机的深度去马赛克
计算机视觉与模式识别
2022-11-28 v1 图像与视频处理
摘要
偏振滤镜阵列（PFA）相机以简单且经济的方式实现对光偏振态的分析。此类滤镜阵列如同彩色相机的拜耳模式，具有相似的优点与缺点。其中，原始图像必须依据 PFA 的局部变化及所成像场景的特性进行去马赛克。非线性效应（如相邻像素间的串扰）难以显式建模，这表明数据驱动学习方法具有潜在优势。然而，PFA 无法从传感器上移除，导致难以获取用于训练的偏振态真值。本工作中我们提出一种基于 CNN 的新模型，直接将相机原始图像去马赛克为逐像素 Stokes 向量。我们的贡献有两点。首先，我们提出一种由一系列与不同滤镜局部排布相一致的马赛克卷积组成的网络架构。其次，我们引入一种利用消费级 LCD 屏幕有效获取真实世界训练数据的新方法。该过程被设计为对显示器伽马值及外部光照条件不变。我们将本方法与基于算法和基于学习的去马赛克技术进行了广泛比较，一致获得更低的误差，尤其在偏振角方面。
引用
@article{arxiv.2211.13732,
title = {Deep Demosaicing for Polarimetric Filter Array Cameras},
author = {Mara Pistellato and Filippo Bergamasco and Tehreem Fatima and Andrea Torsello},
journal= {arXiv preprint arXiv:2211.13732},
year = {2022}
}