全景感知：用于通用遥感图像解译的新任务与细粒度数据集
计算机视觉与模式识别
2024-04-29 v2 人工智能
摘要
当前的遥感解译模型通常专注于单一任务，如检测、分割或描述。然而，针对特定任务设计的模型无法实现对图像的综合多层次解译。该领域也缺乏对多任务联合解译数据集的支持。在本文中，我们提出了全景感知，这是一种新任务和一个新的细粒度数据集，旨在对遥感图像 实现更彻底和通用的解译。这一新任务 1) 整合了像素级、实例级和图像级信息以实现通用图像感知；2) 捕获从粗到细粒度的图像信息，实现更深层次的场景理解与描述；3) 通过多任务学习使各种独立任务相互补充和增强。通过强调多任务交互和感知结果的一致性，该任务能够同时处理细粒度前景实例分割、背景语义分割和全局细粒度图像描述。具体而言，FineGrip 数据集包含 2,649 张遥感图像、属于 20 个前景目标类别的 12,054 个细粒度实例分割掩码、5 个背景事物类别的 7,599 个背景语义掩码以及 13,245 个描述句子。此外，我们提出了一种基于联合优化的全景感知模型。在 FineGrip 上的实验结果证明了全景感知任务的可行性以及多任务联合优化对单个任务的有益影响。该数据集将公开发布。
引用
@article{arxiv.2404.04608,
title = {Panoptic Perception: A Novel Task and Fine-grained Dataset for Universal Remote Sensing Image Interpretation},
author = {Danpei Zhao and Bo Yuan and Ziqiang Chen and Tian Li and Zhuoran Liu and Wentao Li and Yue Gao},
journal= {arXiv preprint arXiv:2404.04608},
year = {2024}
}