面向社会经济结果视觉概念解释的对比预训练
计算机视觉与模式识别
2024-06-14 v2
摘要
利用深度学习从卫星图像预测社会经济指标已成为一个日益流行的研究方向。事后基于概念的解释可以成为在政策制定中更广泛采用这些模型的重要一步，因为它们能够基于人类直觉的视觉概念来解释社会经济结果。在本文中，我们研究了使用额外的特定任务对比损失进行表示学习与社会经济研究的事后概念可解释性之间的相互作用。我们在两个不同的地理位置和任务上的结果表明，特定任务的预训练根据社会经济结果对潜在空间嵌入施加了连续排序。这提高了模型的可解释性，因为它使模型的潜在空间能够将编码典型城市和自然区域模式的概念与社会经济结果的连续区间相关联。此外，我们说明了如何分析模型对社会经济结果区间的概念敏感性，从而为城市研究提供新的见解。
引用
@article{arxiv.2404.09768,
title = {Contrastive Pretraining for Visual Concept Explanations of Socioeconomic Outcomes},
author = {Ivica Obadic and Alex Levering and Lars Pennig and Dario Oliveira and Diego Marcos and Xiaoxiang Zhu},
journal= {arXiv preprint arXiv:2404.09768},
year = {2024}
}