用于航空图像中小目标检测的跨层特征金字塔Transformer
计算机视觉与模式识别
2025-05-29 v2
摘要
航空图像中的目标检测始终是一个具有挑战性的任务，由于目标通常较小。目前大多数检测器侧重于开发新的检测框架，往往忽视对基本组件如特征金字塔网络的研究。在本文中，我们引入跨层特征金字塔Transformer(CFPT)，这是一种专为航空图像中小目标检测设计的全新无升采样特征金字塔网络。CFPT融合两个精心设计的注意力模块，具有线性计算复杂度：跨层通道注意力(CCA)和跨层空间注意力(CSA)。CCA通过将通道级token组织成多个组，以在空间维度上感知跨层全局信息；CSA通过将空间级token组织成多个组，以在通道维度上感知跨层全局信息。通过整合这些模块，CFPT实现了单步骤中的高效跨层交互，从而避免了元素级求和和逐层传输所导致的语义差距和信息损失。此外，CFPT融合了全局上下文信息，提高了对小目标的检测性能。为进一步增强跨层交互中的位置感知能力，本文提出基于层间相互感受野的跨层一致相对位置编码(CCPE)。我们在三个具有挑战性的航空图像目标检测数据集上评估了CFPT的有效性：VisDrone2019-DET、TinyPerson和xView。广泛的实验表明，CFPT在保持较低计算成本的同时，优于现有的SOTA特征金字塔网络。代码已公开于https://github.com/duzw9311/CFPT。
关键词
引用
@article{arxiv.2407.19696,
title = {Cross-Layer Feature Pyramid Transformer for Small Object Detection in Aerial Images},
author = {Zewen Du and Zhenjiang Hu and Guiyu Zhao and Ying Jin and Hongbin Ma},
journal= {arXiv preprint arXiv:2407.19696},
year = {2025}
}