历史手稿集合中的神经词搜索
计算机视觉与模式识别
2020-04-02 v2
摘要
我们解决给定文本查询在历史手稿集合中分割与检索词图像的问题。这通常被称为“词 spotting”。为此，我们首先提出一种基于深度神经网络、称为 Ctrl-F-Net 的端到端可训练模型。该模型同时生成区域提议并将其嵌入词嵌入空间，在其中执行搜索。我们进一步引入一种称为 Ctrl-F-Mini 的简化版本。它更快且性能相近，尽管其限于更易分割的手稿。我们在常用基准数据集上评估两个模型并超越了先前的 state of the art。最后，与历史学家合作，我们采用 Ctrl-F-Net 在跨越两个世纪、超过十万页的大型手稿集合中搜索。仅用 11 个训练页，我们实现了手稿型历史研究中的大规模数据收集。这使数据收集速度与处理的手稿数量均提升了数个数量级。鉴于人文学科中研究古老手稿所需的耗时手工劳动，快速而稳健的词 spotting 工具有潜力革新历史、宗教与语言等领域。
引用
@article{arxiv.1812.02771,
title = {Neural Word Search in Historical Manuscript Collections},
author = {Tomas Wilkinson and Jonas Lindström and Anders Brun},
journal= {arXiv preprint arXiv:1812.02771},
year = {2020}
}
备注
Extension of arXiv:1703.07645. This version adds results on two additional benchmark datasets (Botany and Konzilsprotokolle) and improves the experiment done in section 5.3.1