基于深度度量学习的大规模地标识别

本文提出了一种用于图像中地标识别的新方法，我们已成功将其部署于 Mail ru。该方法使我们能够识别用户照片中的著名地点、建筑、纪念碑及其他地标。主要挑战在于，很难精确定义什么是地标什么不是地标。一些建筑、雕像和自然物体是地标，其他则不是。也没有包含相当多地标数量以训练识别模型的数据库。在生产环境中使用地标识别的一个关键特征是，包含地标的照片数量极少。这就是为什么模型应具有非常低的误报率以及高识别准确率。我们提出了一种基于度量学习的方法，成功应对现有挑战并高效处理大量地标。我们的方法使用深度神经网络，并且需要单次前向推理，使其在生产中快速使用。我们还描述了一种清洗地标数据库的算法，这对于训练度量学习模型至关重要。我们深入描述了我们方法的基本组件，如神经网络架构、学习策略以及我们度量学习方法的特性。我们在模拟用户集合中含与不含地标的照片分布的测试中展示了所提出方案的结果。我们在这些测试中与其他方法进行比较。所述系统已作为照片识别解决方案的一部分部署于 Cloud Mail ru，即 Mail ru Group 的照片共享与存储服务。