从时空运动轨迹中可扩展自监督表示学习及其在多模态计算机视觉中的应用
计算机视觉与模式识别
2022-10-10 v1 人工智能
机器学习
摘要
自监督表示学习技术利用无语义标注的大型数据集来学习有意义且通用的特征，这些特征可便捷地迁移以解决各类下游监督任务。本文中，我们提出一种自监督方法，从未标注的 GPS 轨迹中学习地理区域的表示，以解决下游地理空间计算机视觉任务。将地球表面栅格表示所得的瓦片建模为图的节点或图像的像素。GPS 轨迹建模为这些节点上允许的马尔可夫路径。我们提出一种可扩展的分布式算法，用于计算由观测到的马尔可夫路径所隐含的瓦片与其邻域间空间连通性模式的类图像表示，称为可达性摘要。训练一个卷积收缩自编码器来学习每个瓦片可达性摘要的压缩表示，称为可达性嵌入。可达性嵌入作为地理区域的任务无关特征表示。将可达性嵌入用作五个不同下游地理空间任务的像素表示（这些任务被构建为监督语义分割问题），我们定量证明可达性嵌入是具有语义意义的表示，与使用未考虑瓦片间空间连通性的像素表示的基线模型相比，以精确率-召回率曲线下面积（AUPRC）指标衡量，性能提升 4–23%。可达性嵌入将顺序的时空移动数据转化为具有语义意义的张量表示，可与其他图像源结合，并旨在促进地理空间计算机视觉中的多模态学习。
引用
@article{arxiv.2210.03289,
title = {Scalable Self-Supervised Representation Learning from Spatiotemporal Motion Trajectories for Multimodal Computer Vision},
author = {Swetava Ganguli and C. V. Krishnakumar Iyer and Vipul Pandey},
journal= {arXiv preprint arXiv:2210.03289},
year = {2022}
}
备注
Extended abstract accepted for presentation at BayLearn 2022. 3 pages, 2 figures, 1 table. Abstract based on IEEE MDM 2022 research track paper: arXiv:2110.12521