自我中心视角与俯视视角的交汇：基于谱图匹配的时空定位

得益于GoPro相机、眼镜等自我中心相机（egocentric cameras）的可用性与日益普及，我们获得了大量从第一人称视角捕获的视频。监控相机与无人机（亦称drones）也提供了海量视频，大多为俯视或倾斜视角。在计算机视觉界，自我中心视觉与俯视监控视频过去已被广泛研究。然而二者间的关系尚待深入探索。本工作中，我们尝试通过提出两个问题来探索该关系。第一，给定一组自我中心视频与一个俯视视频，我们能否验证俯视视频是否包含了该自我中心集合中出现的所有或部分自我中心观看者？第二，我们能否在俯视视频内容中识别出这些自我中心观看者？换言之，我们能否在监控视频中找到摄像者？当视频间非时间同步时，这些问题更具挑战性。因此我们形式化该问题，以处理并估计自我中心视频与俯视视频间未知的相对时间延迟。我们将问题表述为谱图匹配实例，并联合寻求视频的最优分配与相对时间延迟。由此，我们在俯视视频中对自我中心观察者进行时空定位。我们使用图对每个视角（自我中心或俯视）建模，并以迭代交替方式计算分配与时间延迟。