面向地理标记视听航拍场景识别的跨任务迁移
计算机视觉与模式识别
2020-07-17 v2 机器学习
多媒体
摘要
航拍场景识别是遥感中的一项基础任务，近年来受到越来越多的关注。尽管来自俯视图像的视觉信息借助强大模型和高效算法在场景识别上取得了可观的性能，但其仍受地面物体变化、光照条件等影响。受认知科学中多通道感知理论的启发，本文为提升航拍场景识别性能，探索了一种利用图像和声音作为输入的新型视听航拍场景识别任务。基于在特定地理位置更可能听到某些特定声音事件的观察，我们提出利用声音事件的知识来提升航拍场景识别的性能。为此，我们构建了一个名为视听航拍场景识别数据集（AuDio Visual Aerial sceNe reCognition datasEt，ADVANCE）的新数据集。在该数据集的帮助下，我们在多模态学习框架中评估了三种提出的将声音事件知识迁移到航拍场景识别任务的方法，并展示了利用音频信息对航拍场景识别的益处。源代码已公开以供复现。
引用
@article{arxiv.2005.08449,
title = {Cross-Task Transfer for Geotagged Audiovisual Aerial Scene Recognition},
author = {Di Hu and Xuhong Li and Lichao Mou and Pu Jin and Dong Chen and Liping Jing and Xiaoxiang Zhu and Dejing Dou},
journal= {arXiv preprint arXiv:2005.08449},
year = {2020}
}
备注
ECCV 2020