看见未被看见：基于知识增强视觉语言模型的风力涡轮叶片零样检测
计算机视觉与模式识别
2025-10-28 v1
摘要
风力涡轮叶片在恶劣环境中运行，及时损伤检测对于防止故障和优化维护至关重要。无人机检测和深度学习是有前景的选择，但通常依赖大量标记数据集，这限制了其检测罕见或演变损伤类型的能力。为此，我们提出一个面向零样本的检测框架，将检索增强生成（RAG）与视觉语言模型（VLM）集成。构建了多模态知识库，包括技术文档、代表性参考图像和领域特定指南。一个混合文本-图像检索器带关键词感知重排序将为VLM在推理时提供最相关的上下文，在不进行任务特定训练的情况下注入领域知识。我们在覆盖多种损伤类型的30张标记叶片图像上评估了该框架。虽然由于获取验证叶片图像的困难，该数据集较小，但涵盖了多个具有代表性的缺陷类型。在该测试集上，RAG 增强的VLM正确分类了所有样本，而 lack of retrieval 的相同VLM在准确率和精确度方面表现更差。我们进一步与开放词汇基线进行比较，并纳入不确定性 Clopper-Pearson 置信区间以考虑小样本情境。消融研究表明，该框架的关键优势在于可解释性和通用性：检索到的参考文献为推理过程提供依据，使能够通过利用领域知识而非仅依赖视觉线索来检测以前未见过的缺陷。该研究为工业检测提供了数据高效解决方案，减少了对大量标记数据集的依赖。
引用
@article{arxiv.2510.22868,
title = {Seeing the Unseen: Towards Zero-Shot Inspection for Wind Turbine Blades using Knowledge-Augmented Vision Language Models},
author = {Yang Zhang and Qianyu Zhou and Farhad Imani and Jiong Tang},
journal= {arXiv preprint arXiv:2510.22868},
year = {2025}
}