基于大规模真实数据集与记忆增强 Transformer 的高保真文档污渍去除
计算机视觉与模式识别
2024-10-31 v1
摘要
文档图像经常受到各种污渍的退化，严重影响其可读性，并阻碍文档数字化和分析等下游应用。缺乏全面的污渍文档数据集限制了现有文档增强方法在去除污渍的同时保留细粒度细节的有效性。为了应对这一挑战，我们构建了 StainDoc，这是第一个专门用于文档污渍去除的大规模、高分辨率（2145×2245）数据集。StainDoc 包含超过 5,000 对污渍和干净文档图像，涵盖多个场景。该数据集涵盖了多种污渍类型、严重程度和文档背景，便于污渍去除算法的鲁棒训练和评估。此外，我们提出了 StainRestorer，一种基于 Transformer 的文档污渍去除方法。StainRestorer 采用记忆增强 Transformer 架构，通过 DocMemory 模块在部件、实例和语义层面捕获分层污渍表示。污渍去除 Transformer（SRTransformer）利用这些特征表示通过双注意力机制：一个具有扩展感受野的增强空间注意力，以及一个捕获通道级特征重要性的通道注意力。这种组合实现了精确的污渍去除，同时保持了文档内容的完整性。在 StainDoc 数据集及其变体 StainDoc_Mark 和 StainDoc_Seal 上的广泛实验证明了 StainRestorer 优于最先进方法的性能，为文档污渍去除建立了新基准。我们的工作突显了记忆增强 Transformer 在此任务中的潜力，并为推进未来研究贡献了一个有价值的数据集。
引用
@article{arxiv.2410.22922,
title = {High-Fidelity Document Stain Removal via A Large-Scale Real-World Dataset and A Memory-Augmented Transformer},
author = {Mingxian Li and Hao Sun and Yingtie Lei and Xiaofeng Zhang and Yihang Dong and Yilin Zhou and Zimeng Li and Xuhang Chen},
journal= {arXiv preprint arXiv:2410.22922},
year = {2024}
}
备注
Accepted by WACV2025