基于零样本图像的大型语言模型方法用于道路铺装监控
计算机视觉与模式识别
2025-04-10 v1 人工智能
摘要
有效且快速地评估道路铺装表面状况对于优先处理维修、确保交通安全和最小化车辆磨损至关重要。虽然传统的手动检查存在主观性，而现有的机器学习方法则受限于其对大量高质量标记数据集的依赖，这些数据集需要大量资源且在不同道路条件下难以适应。大型语言模型（LLM）的革命性进展为克服这些挑战提供了巨大的潜力。在本研究中，我们提出了一种创新的自动化零样本学习方法，利用 LLM 的图像识别和自然语言理解能力来有效评估道路状况。开发了多个基于 LLM 的评估模型，采用与 Pavement Surface Condition Index（PSCI）标准一致的提示工程策略。对这些模型的准确性和可靠性进行了对官方 PSCI 结果的评估，最终选出了优化模型。广泛的测试将优化模型与来自不同水平专家的评估进行基准测试，使用 Google Street View 道路图像。结果显示，LLM 方法能够有效评估道路状况，优化模型——采用全面且结构化的提示工程策略——通过获得高准确率和一致性而超过专家评估。此外，对 Google Street View 图像的成功应用表明其在未来城市规模部署中的潜力。这些发现凸显了 LLM 在自动化道路损坏评估中的变革性潜力，以及详细提示工程在实现可靠评估中起到的关键作用。
引用
@article{arxiv.2504.06785,
title = {Zero-Shot Image-Based Large Language Model Approach to Road Pavement Monitoring},
author = {Shuoshuo Xu and Kai Zhao and James Loney and Zili Li and Andrea Visentin},
journal= {arXiv preprint arXiv:2504.06785},
year = {2025}
}