面向 NASA Worldview 的可扩展反向图像搜索引擎

研究人员经常花费数周时间筛选数十年未标注的卫星图像（在 NASA Worldview 上），以开发可供其开展研究的数据集。我们开发了一个交互式、可扩展且快速的图像相似度搜索引擎（可接受一张或多张图像作为查询图像），该引擎能自动筛选未标注数据集，将数据集生成时间从数周缩短至数分钟。在这项工作中，我们描述了端到端流程的关键组件。我们的相似度搜索系统旨在从潜在的 PB 级数据库中识别出与输入图像相似的图像，为此我们必须将每张查询图像分解为其特征，这些特征由去除了分类层并以监督方式训练的 CNN 生成。为了高效存储和搜索这些特征，我们进行了多项可扩展性改进。为了提高速度、减少存储量并缩小嵌入搜索的内存需求，我们在 CNN 中添加了一个全连接层，在进入分类层之前将所有图像转换为 128 长度的向量。这帮助我们将图像特征的大小从 2048（对于最初尝试作为特征提取器的 ResNet）压缩到我们新定制模型的 128。此外，我们利用现有的近似最近邻搜索库显著加快了嵌入搜索速度。目前，我们的系统在云端单台虚拟机上以每次查询 5 秒的速度搜索整个图像数据库。未来，我们希望引入基于 SimCLR 的特征提取模型，该模型无需任何人工标注即可进行训练（因为模型的分类方面与此用例无关）。