一种用于透镜胶片数字色彩重建的深度学习方法
图像与视频处理
2022-04-05 v2 计算机视觉与模式识别
摘要
我们提出了首个针对历史透镜胶片的精确数字化与色彩重建流程，该流程对伪影具有鲁棒性。透镜胶片出现于20世纪20年代，是最早能够捕捉全彩动态信息的技术之一。该技术利用RGB滤光片和压印在胶片表面的柱面透镜，将颜色编码在图像的水平空间维度中。为了放映图像，需要使用适当的模拟设备逆转编码过程。在这项工作中，我们引入了一条全自动的数字处理流水线，用于处理透镜胶片的扫描件并对图像进行着色。我们的方法将深度学习与基于模型的方法相结合，以最大化性能，同时确保重建的彩色图像真实地匹配编码的色彩信息。我们的模型采用了不同的策略来实现有效的色彩重建，具体包括：(i) 我们使用数据增强来创建一个鲁棒的透镜分割网络，(ii) 我们拟合透镜光栅预测以获得精确的矢量透镜定位，以及 (iii) 我们训练一个着色网络来预测插值系数，以获得真实的着色效果。我们在一个透镜胶片数据集上验证了所提出的方法，并将其与其他方法进行了比较。由于没有彩色真实值作为参考，我们进行了一项用户研究，以主观方式验证我们的方法。研究结果表明，与其他现有方法和基线方法相比，所提出的方法在很大程度上更受青睐。
引用
@article{arxiv.2202.05270,
title = {A Deep Learning Approach for Digital Color Reconstruction of Lenticular Films},
author = {Stefano D'Aronco and Giorgio Trumpy and David Pfluger and Jan Dirk Wegner},
journal= {arXiv preprint arXiv:2202.05270},
year = {2022}
}