模拟模拟胶片损伤以分析并改进高分辨率扫描中的伪影修复

模拟摄影胶片的数字扫描通常包含灰尘和划痕等伪影。自动去除这些伪影是对具有历史和文化重要性的照片进行保存和传播的重要环节。尽管 SOTA 深度学习模型在通用图像修复和去噪方面表现出令人印象深刻的成果，但胶片伪影去除是一个研究不足的问题。由于模拟损伤的复杂性、胶片扫描的高分辨率以及修复中潜在的不确定性，该问题具有尤其具有挑战性的要求。目前没有公开可用的真实世界模拟胶片损伤高质量数据集用于训练和评估，使得定量研究无法实现。我们通过收集一组 4K 受损模拟胶片扫描及其由人类专家手工修复版本的配对数据集，解决了评估中缺乏真值数据的问题，从而实现对修复性能的定量评估。我们利用从真实、严重受损图像中学习到的伪影形状和出现统计模型，构建了更大的带配对干净版本的受损图像合成数据集。我们通过人类感知研究仔细验证了模拟损伤的真实感，表明即使是专家用户也无法区分我们的合成损伤与真实损伤。此外，我们证明与先前提出的合成模拟损伤相比，使用我们的合成受损数据集训练可提升伪影分割性能。最后，我们利用这些数据集训练并分析了八种 SOTA 图像修复方法在高分辨率扫描上的性能。我们比较了直接在含伪影扫描上执行修复任务的方法，以及需要提供损伤掩码以进行伪影修复的方法。