面向城市影像社会经济预测的知识注入对比学习
计算机视觉与模式识别
2023-02-28 v1 人工智能
摘要
监测可持续发展目标需要准确及时的社会经济统计，而网络中 ubiquitous 且频繁更新的城市影像（如卫星/街景图像）已成为社会经济预测的重要来源。特别是，近期研究转向利用手动设计的相似度度量进行自监督对比学习，以用于城市影像表示学习及进一步的社会经济预测，然而其存在有效性与鲁棒性问题。为解决这些问题，本文提出一种面向城市影像社会经济预测的知识注入对比学习（KnowCL）模型。具体而言，我们首先引入知识图谱（KG）以有效建模空间、移动性等方面的城市知识，然后构建基于神经网络的编码器分别学习城市图像在关联语义空间与视觉空间中的表示。最后，我们设计了一种基于跨模态的对比学习框架及新颖的图像-KG对比损失，其通过最大化语义与视觉表示间的互信息来实现知识注入。在三个数据集上应用所学视觉表示进行社会经济预测的广泛实验表明，KnowCL性能优越，相比基线在上提升超过30%。特别地，我们所提KnowCL模型可同时应用于卫星与街景影像，兼具有效性与可迁移性，为基于城市影像的社会经济预测提供了见解。
引用
@article{arxiv.2302.13094,
title = {Knowledge-infused Contrastive Learning for Urban Imagery-based Socioeconomic Prediction},
author = {Yu Liu and Xin Zhang and Jingtao Ding and Yanxin Xi and Yong Li},
journal= {arXiv preprint arXiv:2302.13094},
year = {2023}
}
备注
WWW'23