探索历史文档图像检索中的文本到图像生成

属性驱动的文档图像检索（ABDIR）最近提出作为查询示例（QBE）搜索的替代方案，而QBE搜索是主流的文档图像检索（DIR）范式。QBE搜索的一个缺点是需要手头准备的样本查询文档，而这些文档可能不可得。ABDIR旨在为用户提供一种灵活的方式，通过文档内容中易于记忆的视觉特征来检索文档图像，描述文档图像时使用由卷积神经网络（CNN）驱动的二进制分类器确定的视觉属性组合。我们present了一种利用生成式AI桥接QBE与ABDIR之间差距的探索性研究，聚焦于历史文档，因为它们在视觉特征的多样性和独特性方面。我们假设可以利用文本到图像（T2I）生成来创建基于ABDIR风格属性的文本提示所生成的查询文档图像。我们提出T2I-QBE，该方法使用Leonardo.Ai作为T2I生成器，包含所需文档类型的粗略描述以及所需ABDIR风格属性列表。这会创建查询图像，然后在传统的QBE范式中使用，这种范式将提取的查询特征与数据集中文档图像的特征进行比较，以检索最相关的文档。在历史文档HisIR19数据集上的实验确认了我们的假设，并表明T2I-QBE是历史文档图像检索的可行选项。就作者所知，这是首次尝试用于DIR的T2I生成。