中文

PPTFormer:用于无人机图像分割的伪多视角Transformer

计算机视觉与模式识别 2024-07-12 v2

摘要

无人机(Unmanned Aerial Vehicles, UAVs)在多个领域的崛起, necessitates effective UAV image segmentation,这一任务面临由于无人机捕获图像视角动态变化带来的挑战。传统分割算法因无法准确模拟无人机视角的复杂性,而难以胜任;此外,获取多视角标注数据集的成本也十分高昂。为此,本文引入PPTFormer,即一种新型\textbf{P}seudo Multi-\textbf{P}erspective \textbf{T}ransformer网络,以彻底革新无人机图像分割。我们的做法规避了实际获取多视角数据的需求,通过构建伪视角实现更高的多视角学习。PPTFormer网络集成了视角表示、创新的视角原型,以及专用的编码器和解码器,借助伪多视角注意(Pseudo Multi-Perspective Attention, PMP Attention)和特征融合,实现卓越的分割效果。我们的实验表明,PPTFormer在五个无人机分割数据集上实现了最先进的性能,证明其有效模拟无人机飞行视角的能力,显著提升分割精度。本工作为无人机场景理解的开创性突破,为未来语义分割工作设定了新基准。

关键词

引用

@article{arxiv.2406.19632,
  title  = {PPTFormer: Pseudo Multi-Perspective Transformer for UAV Segmentation},
  author = {Deyi Ji and Wenwei Jin and Hongtao Lu and Feng Zhao},
  journal= {arXiv preprint arXiv:2406.19632},
  year   = {2024}
}

备注

IJCAI 2024