NAF-DPM：一种用于文档增强的无非线性激活扩散概率模型
计算机视觉与模式识别
2024-04-09 v1
摘要
真实世界的文档可能遭受各种形式的退化，往往导致光学字符识别（OCR）系统的准确率降低。因此，一个关键的预处理步骤对于在保留文本和文档关键特征的同时消除噪声至关重要。本文提出 NAF-DPM，一种基于扩散概率模型（DPM）的新型生成框架，旨在恢复退化文档的原始质量。尽管 DPM 以生成高质量图像著称，但其推理时间长也广为人知。为缓解此问题，我们为 DPM 配备了高效的无非线性激活（NAF）网络，并采用常微分方程的快速求解器作为采样器，该求解器能在少数几次迭代中收敛。为更好地保留文本字符，我们引入了一个基于卷积循环神经网络的额外可微模块，在训练期间模拟 OCR 系统的行为。在多个数据集上进行的实验展示了我们方法的优越性，在像素级和感知相似度指标上取得了 SOTA 性能。此外，结果表明，当 OCR 系统转录由我们框架增强的真实世界文档图像时，字符错误率显著降低。代码和预训练模型可在 https://github.com/ispamm/NAF-DPM 获取。
引用
@article{arxiv.2404.05669,
title = {NAF-DPM: A Nonlinear Activation-Free Diffusion Probabilistic Model for Document Enhancement},
author = {Giordano Cicchetti and Danilo Comminiello},
journal= {arXiv preprint arXiv:2404.05669},
year = {2024}
}
备注
Under review at IEEE Transactions on Pattern Analysis and Machine Intelligence