基于多视觉模态的微型无人机结构损伤检测
计算机视觉与模式识别
2025-01-16 v1
摘要
结构损伤检测中对象检测器的精准检测与鲁棒性对于确保民用基础设施的持续使用至关重要。然而，实现对象检测器的鲁棒性仍然是一个持续的挑战，影响其有效泛化的能力。本研究提出了一种结构损伤检测框架DetectorX，并配合微型无人机使用。DetectorX通过引入两个创新模块（stem块和螺旋池化技术）来解决对象检测器鲁棒性的挑战。stem块通过利用两个深度卷积神经网络（DCNN）模型的输出，引入动态视觉模态。该框架采用提出的基于事件的奖励强化学习约束父子DCNN模型的动作，以获得奖励，从而在RGB数据之外诱导两种动态视觉模态。这种增强显著增强了DetectorX在多样化环境情况下的感知和适应性。进一步，螺旋池化技术作为一种在线图像增强方法，通过拼接螺旋卷积和平均/最大池化特征来增加特征表示。 在三个广泛的实验中：（1）比较实验和（2）鲁棒性实验使用太平洋地震工程研究中心ImageNet数据集，（3）现场实验，DetectorX在包括精确率（0.88）、召回率（0.84）、平均精确率（0.91）、平均平均精确率（0.76）和平均平均召回率（0.73）等多个指标上均表现良好，与包括You Only Look Once X-medium（YOLOX-m）等竞争检测器相比。本研究的发现表明，DetectorX能够提供令人满意的结果，并在具备挑战性环境中展现出鲁棒性。
引用
@article{arxiv.2501.08807,
title = {Multi-visual modality micro drone-based structural damage detection},
author = {Isaac Osei Agyemanga and Liaoyuan Zeng and Jianwen Chena and Isaac Adjei-Mensah and Daniel Acheampong},
journal= {arXiv preprint arXiv:2501.08807},
year = {2025}
}