PaveCap：基于稠密描述和 PCI 估计的第一个多模态路面状况评估框架
计算机视觉与模式识别
2024-08-09 v1
摘要
本研究引入了首个用于路面状况评估的多模态方法，提供定量的路面状况指数（PCI）预测和定性描述。我们提出 PaveCap，一个用于自动化路面状况评估的新框架。该框架由两个主要组成部分构成：单shot PCI 估计网络和稠密描述网络。PCI 估计网络使用 YOLOv8 进行目标检测，使用 Segment Anything Model（SAM）进行零射线分割，并使用四层卷积神经网络预测 PCI。稠密描述网络采用 YOLOv8 作为骨干网络，采用 Transformer 编码器-解码器架构和卷积前馈模块生成路面状况的详细描述。为训练和评估这些网络，我们开发了一个包含边界框标注、文本标注和 PCI 值的路面数据集。我们的 PCI 估计网络结果显示，预测值与实际值之间的相关性为 0.70，证明其在自动化状况评估方面的有效性。此外，稠密描述网络产生了准确的路面状况描述， BLEU（0.7445）、GLEU（0.5893）和 METEOR（0.7252）分数均较高。此外，该稠密描述模型在处理复杂场景时表现良好，甚至纠正了一些 ground truth 数据中的错误。本文所develop的框架可显著提高基础设施管理和路面维护决策。
引用
@article{arxiv.2408.04110,
title = {PaveCap: The First Multimodal Framework for Comprehensive Pavement Condition Assessment with Dense Captioning and PCI Estimation},
author = {Blessing Agyei Kyem and Eugene Kofi Okrah Denteh and Joshua Kofi Asamoah and Armstrong Aboah},
journal= {arXiv preprint arXiv:2408.04110},
year = {2024}
}