用于桥梁检测图像中构件解析与缺陷分割的多任务深度学习模型
计算机视觉与模式识别
2022-10-31 v2
摘要
美国庞大的桥梁网络对维护与修复提出了很高要求。人工视觉检测评估桥梁状况的巨额成本是某种程度上的负担。先进机器人已被用于自动化检测数据采集。对大量检测图像数据中多类构件及其表面缺陷进行自动化分割，将有助于高效且有效地评估桥梁状况。为构件解析（即多类构件的语义分割）和缺陷分割分别训练单任务网络，未能利用这两项任务之间的紧密联系。检测图像中同时存在可识别的结构构件和明显的表面缺陷。本文旨在开发一种多任务深度学习模型，充分利用桥梁构件与缺陷之间的这种相互依赖关系，以提升模型的任务性能和泛化能力。此外，本研究考察了所提模型设计对提升任务性能的有效性，包括特征分解、跨任务共享和多目标损失函数。我们构建了一个带有桥梁构件和腐蚀像素级标签的数据集用于模型训练与测试。对所开发多任务深度模型的定量与定性评估结果表明，其在性能（桥梁解析mIoU高2.59%，腐蚀分割高1.65%）以及计算时间和实现能力上均优于基于单任务的模型。
引用
@article{arxiv.2209.02190,
title = {A Multitask Deep Learning Model for Parsing Bridge Elements and Segmenting Defect in Bridge Inspection Images},
author = {Chenyu Zhang and Muhammad Monjurul Karim and Ruwen Qin},
journal= {arXiv preprint arXiv:2209.02190},
year = {2022}
}
备注
Accepted for presentation at the 2023 TRB Annual Meeting and publication in the Transportation Research Record: Journal of the Transportation Research Board (TRR)