超越图块所见:基于强化学习的高分辨率遥感影像尺度自适应语义分割
计算机视觉与模式识别
2023-09-28 v1 人工智能
摘要
在遥感影像分析中,基于图块的方法在捕获滑动窗口之外的信息方面存在局限。这一缺陷给处理复杂多变的地理对象带来重大挑战,导致分割结果语义不一致。为应对该挑战,我们提出一种动态尺度感知框架,名为GeoAgent,其基于不同地理对象自适应捕获图块之外的合适尺度上下文信息。在GeoAgent中,每个图像图块的状态由全局缩略图与位置掩码表示。全局缩略图提供图块之外的上下文,位置掩码引导感知的空间关系。尺度选择动作通过尺度控制智能体(SCA)执行。提出一种特征索引模块以增强智能体区分当前图像图块位置的能力。该动作切换双分支分割网络的图块尺度与上下文分支,提取并融合多尺度图块特征。GeoAgent根据所选尺度获得的奖励调整网络参数以执行合适的尺度选择动作。使用两个公开数据集及我们新构建的WUSU数据集的实验结果表明,GeoAgent优于以往的分割方法,尤其适用于大尺度制图应用。
引用
@article{arxiv.2309.15372,
title = {Seeing Beyond the Patch: Scale-Adaptive Semantic Segmentation of High-resolution Remote Sensing Imagery based on Reinforcement Learning},
author = {Yinhe Liu and Sunan Shi and Junjue Wang and Yanfei Zhong},
journal= {arXiv preprint arXiv:2309.15372},
year = {2023}
}