用于结构损伤检测自动化的基于 SAM 的实例分割模型
计算机视觉与模式识别
2024-01-31 v2
摘要
由于目前依赖人工且耗时，基于土木结构外观捕获缺陷的视觉检查自动化至关重要。鉴于近年来软件和硬件计算的普及发展，自动检查的一个重要方面——图像采集，变得快速且具有成本效益。以往的研究主要集中在混凝土和沥青上，对砌体裂缝的关注较少。后者也缺乏公开可用的数据集。在本文中，我们首先提出了一个用于实例分割的相应数据集，包含 1,300 张标注图像（640 像素 x 640 像素），命名为 MCrack1300，涵盖砖块、碎砖和裂缝。然后，我们测试了几种领先的基准算法，包括最新的大规模模型，即基于提示的 Segment Anything Model (SAM)。我们使用 Low-Rank Adaptation (LoRA) 对编码器进行微调，并提出了两种用于自动化执行 SAM 的新方法。第一种方法涉及放弃提示编码器并将 SAM 编码器连接到其他解码器，而第二种方法引入了一个可学习的自生成提示器。为了确保所提出的两种方法与 SAM 编码器部分的无缝集成，我们重新设计了特征提取器。这两种提出的方法均超越了 state-of-the-art 性能，在所有类别上比最佳基准高出约 3%，在裂缝上具体高出约 6%。基于成功的检测，我们提出了一种基于单目相机和 Hough Line Transform 的方法，以自动将图像转换为正射投影图。通过结合砖块单元的已知真实尺寸，我们准确估计了裂缝尺寸，其结果与激光扫描获得的结果差异不到 10%。总体而言，我们填补了砌体裂缝自动检测和尺寸估计方面的重要研究空白。
引用
@article{arxiv.2401.15266,
title = {SAM-based instance segmentation models for the automation of structural damage detection},
author = {Zehao Ye and Lucy Lovell and Asaad Faramarzi and Jelena Ninic},
journal= {arXiv preprint arXiv:2401.15266},
year = {2024}
}