基于自然语言查询的上下文媒体检索

相机在手持和头戴设备中的广泛集成以及在线共享内容的能力，使得数百万用户每天共同构建出对世界的大量多样化视觉捕捉。我们设想这些图像以及相关的元信息（如GPS坐标和时间戳）形成一种集体视觉记忆，可在自动考虑移动用户不断变化上下文的情况下进行查询。作为实现该愿景的第一步，本文提出Xplore-M-Ego：一种新颖的媒体检索系统，允许用户使用时空自然语言查询来查询图像和视频的动态数据库。我们使用真实用户查询的新数据集以及通过可用性研究评估了我们的系统。一个关键发现是存在相当数量的用户间差异，例如在自然语言表述中对空间关系的解析。我们展示了我们的检索系统通过基于在线学习的检索公式进行个性化来应对这种差异。