ShadowSense：基于无监督域适应与特征融合的RGB-热红外无人机影像阴影无关树冠检测
计算机视觉与模式识别
2023-10-26 v1
摘要
由于森林冠层密集以及存在多样的环境变化（如冠层重叠、遮挡和光照条件变化），从遥感数据中准确检测单株树冠是一项重大挑战。此外，缺乏用于训练鲁棒模型的数据，给有效研究复杂森林状况带来了另一重限制。本文提出一种检测阴影下树冠的新方法，并提供包含约5万对RGB-热红外图像且具有挑战性的数据集，以促进光照不变检测的未来研究。所提方法（ShadowSense）完全自监督，利用域对抗训练（无需源域标注）进行特征提取，以及前景特征对齐用于特征金字塔网络，分别通过关注可见前景区域来适应域不变表示。随后其融合两种模态的互补信息，有效改进基于RGB训练的 detector 的预测并提升整体精度。大量实验证明了所提方法优于基线RGB训练检测器以及依赖无监督域适应或早期图像融合的最先进技术。我们的代码与数据可用：https://github.com/rudrakshkapil/ShadowSense
引用
@article{arxiv.2310.16212,
title = {ShadowSense: Unsupervised Domain Adaptation and Feature Fusion for Shadow-Agnostic Tree Crown Detection from RGB-Thermal Drone Imagery},
author = {Rudraksh Kapil and Seyed Mojtaba Marvasti-Zadeh and Nadir Erbilgin and Nilanjan Ray},
journal= {arXiv preprint arXiv:2310.16212},
year = {2023}
}
备注
Accepted in IEEE/CVF Winter Applications of Computer Vision (WACV) 2024 main conference! 8 pages (11 with bibliography), 5 figures, 3 tables