基于多尺度扩散的 Dunhuang壁画修复方法 DiffuMural
计算机视觉与模式识别
2025-04-15 v1
摘要
大规模预训练扩散模型在条件图像生成领域取得了优异的效果。然而，作为该领域重要的下游任务，古老壁画修复对基于扩散模型的修复方法提出了重大挑战，主要由于其大范围破损区域和稀缺的训练样本。条件修复任务更关心修复部分是否符合壁画修复整体风格和接缝细节的审美标准，而当前研究中缺乏评估启发式图像补全的度量标准。因此，我们提出了 DiffuMural，一种结合多尺度收敛与协同扩散机制、集成ControlNet与循环一致性损失的壁画修复方法，以优化生成图像与条件控制之间的匹配。 DiffuMural 在修复壁画方面展现出卓越的能力，利用来自23幅规模大的 Dunhuang壁画的训练数据，这些壁画具有一致的视觉审美。该模型在修复精细细节方面表现出色，能够实现整体的一致外观，并解决因缺乏事实依据而导致的壁画不完整问题。我们的评估框架包含四个关键度量标准，用于定量评估不完整壁画：事实准确性、纹理细节、语境语义和整体视觉一致性。此外，我们还集成了人文价值评估，以确保修复后的壁画保留其文化和艺术意义。广泛的实验表明，该方法在定性和定量指标上均优于当前最先进(SOTA)方法。
关键词
引用
@article{arxiv.2504.09513,
title = {DiffuMural: Restoring Dunhuang Murals with Multi-scale Diffusion},
author = {Puyu Han and Jiaju Kang and Yuhang Pan and Erting Pan and Zeyu Zhang and Qunchao Jin and Juntao Jiang and Zhichen Liu and Luqi Gong},
journal= {arXiv preprint arXiv:2504.09513},
year = {2025}
}