面向灾后结构勘查的大型语言模型

人工智能（AI）辅助的基于视觉的结构健康监测（SHM）已成为一种有效的方法，通过分析图像和视频数据来监控和评估结构的状态。通过将计算机视觉（CV）和深度学习（DL）集成，基于视觉的SHM能够自动识别和定位与结构损伤相关的视觉模式。然而，前期工作通常仅生成离散输出，如损伤类别标签和损伤区域坐标，需要工程师进一步重新组织和分析这些结果以进行评估和决策。在2022年后期，大型语言模型（LLM）在多个领域迅速流行，为AI辅助的基于视觉的SHM提供了新的思路。本研究提出了一种新型基于LLM的灾后勘查总结框架（LLM-DRS）。该框架引入了标准勘查计划，其中视觉数据及其相应元数据遵循精心设计的现场调查过程。文本-based元数据和基于图像的视觉数据随后被处理并整合到统一格式中，其中经过训练的深度卷积神经网络提取关键属性，包括损伤状态、材料类型和损伤程度。最后，所有数据被输入LLM，利用精心设计的提示词，使LLM-DRS能够根据聚合的属性和元数据为单个结构或受影响区域生成汇总报告。结果表明，将LLM集成到基于视觉的SHM中，特别是用于快速灾后勘查，显示出巨大的潜力，有助于通过有效的勘查提高建筑环境的韧性。