基于视觉问答的多图像桥梁损伤原因估计
计算机视觉与模式识别
2023-02-21 v1
摘要
本文提出了一种桥梁构件损伤原因估计框架，该框架通过运动恢复结构（SfM）计算图像位置，并通过视觉问答（VQA）获取其信息。为此，我们开发了一个 VQA 模型，该模型使用桥梁图像创建数据集，并根据图像和问题输出损伤或构件名称及其存在性。在所开发的模型中，要求构件名称和损伤名称的问题的正确回答率分别为 67.4% 和 68.9%。要求是/否回答的问题的正确回答率为 99.1%。基于所开发的模型，提出了一种损伤原因估计方法。在该方法中，通过向 VQA 模型输入新问题来缩小损伤原因范围，这些新问题是根据通过 SfM 获取的周围图像和 VQA 模型的结果确定的。随后，将该方法应用于一座实际桥梁，并证明其能够确定损伤并估计其原因。所提出的方法可用于防止损伤原因被忽视，从业者可以确定检查重点区域，这有助于改进维护技术。未来，有望为基础设施诊断自动化做出贡献。
引用
@article{arxiv.2302.09208,
title = {Bridge Damage Cause Estimation Using Multiple Images Based on Visual Question Answering},
author = {Tatsuro Yamane and Pang-jo Chun and Ji Dang and Takayuki Okatani},
journal= {arXiv preprint arXiv:2302.09208},
year = {2023}
}