基于全局结构引导扩散模型的文本图像修复

现实世界中的文本可能因环境或人为因素造成的腐蚀问题而受损，这阻碍了文本完整风格（如纹理和结构）的保存。这些腐蚀问题，例如涂鸦痕迹和不完整签名，给理解文本带来了困难，从而对场景文本识别和签名鉴定等下游应用构成了重大挑战。值得注意的是，当前的修复技术通常无法充分解决这一问题，并且难以恢复具有合理且一致风格的精确文本图像。本文将文本图像修复定义为一个开放性问题，旨在建立一个基准以促进其研究。为此，我们构建了两个特定的文本修复数据集，分别包含场景文本图像和手写文本图像。每个数据集都包含由真实和合成数据集改造的图像，具有原始图像、损坏图像和其他辅助信息的配对。在数据集之上，我们进一步开发了一种新颖的神经框架，即全局结构引导扩散模型（Global Structure-guided Diffusion Model, GSDM），作为一种潜在的解决方案。利用文本的全局结构作为先验，所提出的GSDM开发了一种高效的扩散模型来恢复干净的文本。通过全面的实证研究，包括在识别准确率和图像质量上的显著提升，证明了我们方法的有效性。这些发现不仅突显了我们方法的有效性，也强调了其在增强更广泛的文本图像理解和处理领域的潜力。代码和数据集可在以下链接获取：https://github.com/blackprotoss/GSDM。