野外航拍场景理解：基于原型记忆网络的多场景识别
计算机视觉与模式识别
2021-04-23 v1
摘要
航拍场景识别是一项基础的视觉任务，近年来吸引了越来越多的研究兴趣。当前大多数研究主要致力于将一张航拍图像分类为一个场景级标签，而在真实场景中，单张图像中常常存在多个场景。因此，在本文中我们向前推进一步，面向更实用且更具挑战性的任务，即单图像中的多场景识别。此外，我们注意到为此类任务人工标注异常耗时耗力。为此，我们提出了一种基于原型的记忆网络，通过利用大量标注良好的单场景图像来识别单图像中的多个场景。所提网络由三个关键组件构成：1) 原型学习模块，2) 原型驻留外部记忆，3) 基于多头注意力的记忆检索模块。具体而言，我们首先从单场景航拍图像数据集中学习每个航拍场景的原型表示并将其存储于外部记忆中。之后，设计基于多头注意力的记忆检索模块来检索与查询多场景图像相关的场景原型以进行最终预测。值得注意的是，在训练阶段仅需要有限数量的标注多场景图像。为推动航拍场景识别进展，我们构建了一个新的多场景航拍图像（MAI）数据集。在不同数据集配置上的实验结果证明了我们网络的有效性。我们的数据集与代码已公开可用。
引用
@article{arxiv.2104.11200,
title = {Aerial Scene Understanding in The Wild: Multi-Scene Recognition via Prototype-based Memory Networks},
author = {Yuansheng Hua and Lichao Moua and Jianzhe Lin and Konrad Heidler and Xiao Xiang Zhu},
journal= {arXiv preprint arXiv:2104.11200},
year = {2021}
}