全景分割遇见遥感
计算机视觉与模式识别
2022-05-04 v2 人工智能
数据库
摘要
全景分割结合了实例与语义预测，允许同时检测“事物”与“物质”。在遥感数据中有效实现全景分割在许多挑战性问题中前景广阔，因为它允许连续制图与特定目标计数。若干困难阻碍了该任务在遥感中的发展：(a) 大多数算法为传统图像设计；(b) 图像标注必须涵盖“事物”与“物质”类；(c) 标注格式复杂。因此，旨在解决并提升全景分割在遥感中的可操作性，本研究有五个目标：(1) 创建用于全景分割的新型数据准备流程；(2) 提出一种标注转换软件以生成全景标注；(3) 提出一个关于城市区域的新型数据集；(4) 修改 Detectron2 以适配该任务；(5) 评估该任务在城市环境中的困难。我们使用空间分辨率 0.24 米的航空影像，考虑 14 个类别。我们的流程考虑三种图像输入，所提软件使用点 shapefile 以生成 COCO 格式样本。我们的研究生成了 3400 个 512x512 像素尺寸的样品。我们使用带有两种骨干（ResNet-50 和 ResNet-101）的 Panoptic-FPN，模型评估考虑了语义实例与全景指标。我们分别获得平均 IoU、box AP 和 PQ 为 93.9、47.7 和 64.9。我们的研究提出了首个有效的全景分割流程以及一个供其他研究者使用并处理其他数据或需要透彻场景理解的 related 问题的广泛数据库。
关键词
引用
@article{arxiv.2111.12126,
title = {Panoptic Segmentation Meets Remote Sensing},
author = {Osmar Luiz Ferreira de Carvalho and Osmar Abílio de Carvalho Júnior and Cristiano Rosa e Silva and Anesmar Olino de Albuquerque and Nickolas Castro Santana and Dibio Leandro Borges and Roberto Arnaldo Trancoso Gomes and Renato Fontes Guimarães},
journal= {arXiv preprint arXiv:2111.12126},
year = {2022}
}
备注
40 pages, 10 figures, submitted to journal