面向超高分辨率无人机影像的显存受限语义分割
计算机视觉与模式识别
2023-10-10 v1
摘要
在摄影与传感器技术飞速发展的背景下，高清相机已普遍部署于无人机（UAV）以执行多样任务。在无人机影像分析领域，超高分辨率图像分割是一项重要且复杂的挑战，尤其在受限于GPU显存的计算设备上更为突出。本文深入探讨在严格GPU显存限制下实现超高分辨率无人机影像高效且有效分割的难题。现有方法通过下采样图像以获得计算高效的分割，但往往忽略较小、较细及曲线状区域。为此，我们提出一种无需获取局部块之外上下文的显存高效且有效的局部推理框架。具体而言，我们引入一种新颖的空间引导高分辨率查询模块，仅通过在高分辨率信息引导下查询最近邻潜在嵌入即可预测高质量的逐像素分割结果。此外，我们提出一种高效的基于记忆的交互机制，通过关联跨图像上下文语义来纠正底层高分辨率信息潜在的语义偏差。为评估所提方法，我们在公开基准上进行了全面实验，并在小显存与大显存使用限制下均取得优越性能。我们将于未来发布模型与代码。
引用
@article{arxiv.2310.04721,
title = {Memory-Constrained Semantic Segmentation for Ultra-High Resolution UAV Imagery},
author = {Qi Li and Jiaxin Cai and Yuanlong Yu and Jason Gu and Jia Pan and Wenxi Liu},
journal= {arXiv preprint arXiv:2310.04721},
year = {2023}
}