SeMAnD：多模态地理空间数据集中的自监督异常检测
人工智能
2023-09-28 v1 计算机视觉与模式识别
机器学习
摘要
我们提出一种称为 SeMAnD 的自监督异常检测技术，用于检测多模态地理空间数据集中的几何异常。地理空间数据由获取与派生的异构数据模态组成，我们将其转化为语义上有意义的类图像张量，以应对多模态数据的表示、对齐与融合挑战。SeMAnD 包含（i）一种称为 RandPolyAugment 的简单数据增强策略，能够生成矢量几何的多样化增强；以及（ii）一个具有三个组件的自监督训练目标，其激励学习这样的多模态数据表示：对某一模态中未被其他模态佐证局部变化具有判别力。检测局部缺陷对地理空间异常检测至关重要，因为即便微小异常（例如偏移、错误连接、畸形或缺失的多边形矢量几何，如道路、建筑、土地覆盖等）也会损害地图、路由、搜索与推荐系统等地理空间应用用户的体验与安全。我们在跨越 3 个不同地理区域的各类真实世界几何地理空间异常测试集上的实证研究表明，SeMAnD 能够检测真实缺陷，并以异常分类 AUC 衡量优于与领域无关的异常检测策略 4.8–19.7%。我们还表明模型性能随（i）输入模态数量增加最高提升 20.4%，以及（ii）训练数据增强的多样性与强度增加最高提升 22.9%。
引用
@article{arxiv.2309.15245,
title = {SeMAnD: Self-Supervised Anomaly Detection in Multimodal Geospatial Datasets},
author = {Daria Reshetova and Swetava Ganguli and C. V. Krishnakumar Iyer and Vipul Pandey},
journal= {arXiv preprint arXiv:2309.15245},
year = {2023}
}
备注
Extended version of the accepted research track paper at the 31st ACM SIGSPATIAL International Conference on Advances in Geographic Information Systems (ACM SIGSPATIAL 2023), Hamburg, Germany. 11 pages, 8 figures, 6 tables