基于自然语言处理的方法：通过理解街景图像中的深层语义特征映射人类感知
计算机视觉与模式识别
2023-11-30 v1
摘要
过去十年中，利用街景图像与机器学习度量人类感知已成为城市科学中的主流研究方法。然而，这种仅使用图像浅层信息的方法难以全面理解人类对场景感知的深层语义特征。本研究中，我们提出了一种基于预训练自然语言模型的新框架，以理解人类感知与场景感之间的关系。首先，我们使用Place Pulse 2.0作为基础数据集，其包含多种人类感知标签，即美丽、安全、富裕、压抑、无聊与活力。我们使用图像描述网络提取每张街景图像的描述信息。其次，对预训练BERT模型进行微调并添加针对六维人类感知的回归函数。此外，我们将五种传统回归方法与本方法性能进行比较，并在香港开展了迁移实验。结果表明，基于深层语义特征的人类感知评分优于以往使用浅层特征的机器学习方法。深层场景语义特征的使用为后续人类感知研究提供了新思路，并在面对空间异质性时具备更好的解释力。
引用
@article{arxiv.2311.17354,
title = {A natural language processing-based approach: mapping human perception by understanding deep semantic features in street view images},
author = {Haoran Ma and Dongdong Wu},
journal= {arXiv preprint arXiv:2311.17354},
year = {2023}
}
备注
11 pages, 8 figures