UPDExplainer：一种基于可解释 Transformer 利用街景影像进行城市物理失序检测的框架
计算机视觉与模式识别
2023-05-05 v1
摘要
城市物理失序（UPD），如老旧或废弃建筑、破损人行道、垃圾和涂鸦，对居民生活质量有负面影响。它们还会提高犯罪率、引发社会失序并构成公共健康风险。目前缺乏高效可靠的方法来检测和理解 UPD。为弥补这一缺口，我们提出 UPDExplainer，一种用于 UPD 检测的可解释基于 Transformer 的框架。我们首先基于 Swin Transformer 架构开发 UPD 检测模型，利用易获取的街景图像学习判别性表示。为提供清晰易懂的证据与分析，我们随后引入一个 UPD 因子识别与排序模块，将视觉解释图与语义分割图相结合。这一新颖集成方法使我们能够识别街景图像中导致物理失序的具体物体，并深入理解其潜在原因。在重新标注的 Place Pulse 2.0 数据集上的实验结果表明所提方法具有良好检测性能，准确率达 79.9%。为全面评估该方法的排序性能，我们报告了平均精度均值（mAP）、R 精度（RPrec）和归一化折损累计增益（NDCG），成功率分别为 75.51%、80.61% 和 82.58%。我们还展示了在加利福尼亚州洛杉矶市中心南部区域进行物理失序检测与排序的案例研究，以证明我们框架的实用性与有效性。
引用
@article{arxiv.2305.02911,
title = {UPDExplainer: an Interpretable Transformer-based Framework for Urban Physical Disorder Detection Using Street View Imagery},
author = {Chuanbo Hu and Shan Jia and Fan Zhang and Changjiang Xiao and Mindi Ruan and Jacob Thrasher and Xin Li},
journal= {arXiv preprint arXiv:2305.02911},
year = {2023}
}