具有实例感知与跨层级注意力的遥感图像描述生成
计算机视觉与模式识别
2021-05-12 v1
摘要
空间注意力是提升遥感图像描述生成性能的一种直观方法。然而，传统的空间注意力方法仅考虑在单一固定粗粒度网格上的注意力分布，导致微小目标的语义在视觉特征提取过程中易被忽略或干扰。更糟糕的是，传统空间注意力的固定语义层级限制了对图像在不同层级与视角下的理解，而这对于处理遥感图像中的巨大多样性至关重要。为解决这些问题，我们提出了一种具有实例感知与跨层级注意力的遥感图像描述生成器。1）通过引入包含多层级实例可能区域及其周边视觉信息的多级特征架构来实现实例感知。2）此外，基于该多级特征提取，提出一种跨层级注意力机制，以促使解码器在每个时间步动态聚焦于不同的语义层级与实例。在公开数据集上的实验结果证明了所提方法相对于现有方法的优越性。
引用
@article{arxiv.2105.04996,
title = {Instance-aware Remote Sensing Image Captioning with Cross-hierarchy Attention},
author = {Chengze Wang and Zhiyu Jiang and Yuan Yuan},
journal= {arXiv preprint arXiv:2105.04996},
year = {2021}
}