多视角空中视觉识别 (MAVREC)：多视角能否提升空中视觉感知？
计算机视觉与模式识别
2023-12-08 v1 人工智能
机器学习
摘要
尽管无人机在商业上已十分普及，但空中数据采集仍然具有挑战性，且现有的以亚洲和北美为中心的开源无人机数据集规模小或分辨率低，缺乏场景上下文多样性。此外，场景的色彩内容、太阳天顶角以及不同地域的人口密度都会影响数据多样性。这两个因素共同导致主要基于地面视图数据（包括开放世界基础模型）训练的深度神经网络 (DNN) 模型的空中视觉感知效果欠佳。为开创空中检测的变革性时代，我们提出了多视角空中视觉识别 (MAVREC)，这是一个视频数据集，我们记录了来自不同视角——地面相机和无人机挂载相机——的同步场景。MAVREC 包含约 2.5 小时的行业标准 2.7K 分辨率视频序列、超过 50 万帧图像和 110 万个标注边界框。这使得 MAVREC 成为最大的地面与空中视图数据集，并在所有基于无人机的数据集（涵盖所有模态和任务）中位列第四大。通过在 MAVREC 上进行广泛的基准测试，我们认识到，使用来自相应地理位置的地面视图图像来增强目标检测器，是一种优越的空中检测预训练策略。基于此策略，我们采用一种基于课程的半监督目标检测方法对 MAVREC 进行基准测试，该方法利用有标签（地面和空中）和无标签（仅空中）图像来增强空中检测。我们公开发布 MAVREC 数据集：https://mavrec.github.io。
引用
@article{arxiv.2312.04548,
title = {Multiview Aerial Visual Recognition (MAVREC): Can Multi-view Improve Aerial Visual Perception?},
author = {Aritra Dutta and Srijan Das and Jacob Nielsen and Rajatsubhra Chakraborty and Mubarak Shah},
journal= {arXiv preprint arXiv:2312.04548},
year = {2023}
}