预测受损历史文档的原始外观
计算机视觉与模式识别
2024-12-17 v1
摘要
历史文献蕴含丰富的文化宝藏，但随着时间的推移，遭受了严重的损坏，包括字符缺失、纸张破损和墨水侵蚀。然而，现有的文档处理方法主要关注二值化、增强等，忽略了这些损坏的修复。为此，我们提出一个新任务，称为历史文档修复（HDR），旨在预测受损历史文档的原始外观。为了填补该领域的空白，我们提出了大规模数据集HDR28K和基于扩散的网络DiffHDR用于历史文档修复。具体来说，HDR28K包含28,552对受损-修复图像对，带有字符级标注和多风格退化。此外，DiffHDR用语义和空间信息以及精心设计的字符感知损失增强了原始扩散框架，以实现上下文和视觉一致性。实验结果表明，使用HDR28K训练的DiffHDR显著超越了现有方法，在处理真实受损文档时表现出卓越性能。值得注意的是，DiffHDR还可以扩展到文档编辑和文本块生成，展示了其高度的灵活性和泛化能力。我们相信这项研究可以开创文档处理的新方向，并为宝贵文化和文明的传承做出贡献。数据集和代码可在https://github.com/yeungchenwa/HDR获取。
引用
@article{arxiv.2412.11634,
title = {Predicting the Original Appearance of Damaged Historical Documents},
author = {Zhenhua Yang and Dezhi Peng and Yongxin Shi and Yuyi Zhang and Chongyu Liu and Lianwen Jin},
journal= {arXiv preprint arXiv:2412.11634},
year = {2024}
}
备注
Accepted to AAAI 2025; Github Page: https://github.com/yeungchenwa/HDR