AutoTour：基于智能手机与大语言模型的自动化摄影导览系统

我们提出AutoTour系统，通过自动为用户拍摄的照片生成细粒度地标注释和描述性叙述，增强用户的探索体验。AutoTour的核心思想是将从照片中提取的视觉特征与来自开放匹配数据库的近邻地理空间特征融合。不同于依赖预定义内容或专有数据集的现有导览应用，AutoTour利用开放且可扩展的数据源，提供可扩展且具情境感知的基于照片的指引。为实现此目标，我们设计了无训练的管道，首先提取并过滤用户GPS位置周围的相关地理空间特征。随后通过基于视觉语言模型（VLM）的特征检测识别照片中的主要地标，并将其投影到水平平面。几何匹配算法根据估计距离和方向将照片特征与相应的地理空间实体对齐。匹配后的特征随后直接在原始照片上进行 grounding和注释，并伴随大语言模型生成的文本和音频描述，提供信息丰富、类似导览的体验。我们展示了AutoTour能够为both iconic and lesser-known地标提供丰富、可解释的注释，实现一种新的互动式、情境感知的探索方式，桥接视觉感知与地理空间理解。