ARIN：用于敦煌石窟壁画鲁棒盲修复的自适应重采样与实例归一化
计算机视觉与模式识别
2024-02-27 v1
摘要
图像增强算法对于现实世界的计算机视觉任务非常有用，在这些任务中，图像分辨率往往受限于传感器尺寸。虽然最先进的深度神经网络在图像增强方面显示出令人印象深刻的结果，但它们往往难以增强真实世界的图像。在这项工作中，我们解决了一个现实场景：敦煌石窟图像的修复。敦煌数据集由壁画组成，其中一半遭受腐蚀和老化。这些壁画具有丰富的内容，包括佛像、菩萨、供养人、建筑、舞蹈、音乐以及跨越十个世纪由不同艺术家设计的装饰图案，这使得人工修复具有挑战性。我们修改了两种现有的基于最先进 (SOTA) 超分辨率和去模糊网络的方法（CAR, HINet）。我们表明，这些方法可以成功地修复和增强这些退化的石窟壁画。我们进一步表明，CAR 和 HINet 的新颖组合（即我们提出的修复网络 ARIN）对外部噪声，尤其是高斯噪声，具有极强的鲁棒性。为此，我们将提出的方法与现有的 SOTA 网络及敦煌挑战赛的获胜者进行了定量和定性比较。其中一种提出的方法（HINet）代表了新的最先进水平，并优于敦煌挑战赛的第一名，而我们的组合 ARIN（对噪声具有鲁棒性）则与第一名相当。我们还展示并讨论了定性结果，显示了我们的方法对敦煌石窟图像修复的影响。
引用
@article{arxiv.2402.16188,
title = {ARIN: Adaptive Resampling and Instance Normalization for Robust Blind Inpainting of Dunhuang Cave Paintings},
author = {Alexander Schmidt and Prathmesh Madhu and Andreas Maier and Vincent Christlein and Ronak Kosti},
journal= {arXiv preprint arXiv:2402.16188},
year = {2024}
}