基于无人机巡检图像与视觉-语言预训练的输电线路缺陷检测
计算机视觉与模式识别
2025-05-13 v2
摘要
无人机（UAV）巡检因其成本效益已成为输电线路监测的主要方法。检测输电线路缺陷是无人机巡检中的一项关键任务。然而，由于成像距离和拍摄角度的影响，无人机巡检图像常常缺乏足够的缺陷相关视觉信息，这对检测精度产生了不利影响。在本文中，我们提出了一种新颖的无人机巡检图像缺陷检测方法，该方法基于面向输电线路的视觉-语言预训练（VLP-TL）和渐进式迁移策略（PTS）。具体而言，VLP-TL包含两个为输电线路场景定制的新颖预训练任务，旨在利用从视觉和语言信息中获取的丰富知识来预训练图像编码器。将预训练的图像编码器作为骨干网络迁移到缺陷检测器中，可以有效缓解视觉信息不足的问题。此外，PTS通过逐步弥合预训练与下游缺陷检测之间的差距，进一步提升了迁移性能。实验结果表明，所提出的方法通过联合利用多模态信息，显著提高了缺陷检测精度，克服了无人机巡检图像提供的缺陷相关视觉信息不足的局限性。
引用
@article{arxiv.2411.11370,
title = {Transmission Line Defect Detection Based on UAV Patrol Images and Vision-language Pretraining},
author = {Ke Zhang and Zhaoye Zheng and Yurong Guo and Jiacun Wang and Jiyuan Yang and Yangjie Xiao},
journal= {arXiv preprint arXiv:2411.11370},
year = {2025}
}