有效的多查询扩展：面向鲁棒地标检索的协同深度网络

给定用户（q-user）发出的查询照片，地标检索旨在返回一组其地标与查询照片相似照片，而现有地标检索研究侧重于利用地标的几何形状进行候选照片与查询照片之间的相似性匹配。我们观察到，社交媒体社区中不同用户提供的相同地标可能根据视点和/或角度传达不同的几何信息，并可能随之产生非常不同的结果。事实上，处理由 q-user 拍摄所引起的不良形状的地标通常并非易事，且很少被研究。本文提出一种新颖框架，即多查询扩展，通过两步检索语义鲁棒的地标。首先，我们依据查询地标的潜在主题识别 top-$k$ 照片以构建多查询集合，从而补救其可能的不良形状。为此，我们显著扩展了隐狄利克雷分配（Latent Dirichlet Allocation）技术。然后，受典型协同过滤方法启发，我们提出学习一种基于潜在因子的协同深度网络，用于地标照片的语义、非线性及高层特征，以作为训练集，该训练集通过对关于多查询集合的协同用户-照片矩阵进行矩阵分解形成。所学习的深度网络进一步应用于为所有其他照片生成特征，同时在该空间中得到紧凑的多查询集合。我们在具有地标照片及其用户信息的真实社交媒体数据上进行了大量实验，展示了相对于现有方法的优越性能。