一种用于从检测视频中分割多类桥梁构件的半监督自训练辅助智能方法
计算机视觉与模式识别
2021-09-15 v2
摘要
桥梁检测是维护和修复交通基础设施以延长其使用寿命的重要步骤。移动机器人技术的进步使得能够快速收集大量检测视频数据。然而，这些数据主要是复杂场景的图像，其中具有各种结构构件的桥梁与杂乱的背景混合在一起。协助桥梁检测人员从庞大的复杂视频数据中提取桥梁结构构件并按类别分类，将为检测人员进行逐构件检测以确定桥梁状况做好准备。本文旨在开发一种辅助智能模型，用于从由空中检测平台捕获的检测视频中分割多类桥梁构件。在检测人员标注的小型初始训练数据集下，将在大型公共数据集上预训练的掩码基于区域的卷积神经网络（Mask R-CNN）迁移到多类桥梁构件分割这一新任务。此外，时间相干性分析试图恢复假阴性并识别神经网络可学习改进的弱点。进一步，开发了一种半监督自训练（ST）方法，让经验丰富的检测人员参与迭代细化网络。对所开发的深度神经网络的定量与定性评估结果表明，所提方法可利用经验丰富的检测人员少量的时间与指导（标注66张图像耗时3.58小时）构建出性能优异的网络（精度91.8%、召回率93.6%、f1分数92.7%）。重要的是，本文展示了一种将桥梁专业人员的领域知识与经验融入计算智能模型的方法，以高效地将模型适配至国家桥梁清单中的各类桥梁。
引用
@article{arxiv.2109.05078,
title = {A semi-supervised self-training method to develop assistive intelligence for segmenting multiclass bridge elements from inspection videos},
author = {Muhammad Monjurul Karim and Ruwen Qin and Zhaozheng Yin and Genda Chen},
journal= {arXiv preprint arXiv:2109.05078},
year = {2021}
}
备注
Published in Structural Health Monitoring