ErgoChat：面向建筑工人人体工学风险评估的可视化查询系统
计算机视觉与模式识别
2024-12-31 v1 人工智能
机器学习
摘要
在建筑领域，工人常常承受长时间的高强度体力工作和长时间使用工具，导致与姿态人体工学风险相关的伤害和疾病，这一问题长期存在。为缓解这些风险，研究人员应用了各种技术方法来识别建筑工人所面临的人体工学风险。然而，传统的人体工学风险评估（ERA）技术不提供交互式反馈。快速发展的视觉语言模型（VLMs），能够基于图像输入生成文本描述或回答关于人体工学风险的问题，尚未获得广泛关注。本研究引入一个针对建筑工人姿态人体工学风险评估的交互式视觉查询系统。该系统的功能包括视觉问答（VQA），用于响应关于工人暴露于姿态人体工学风险的视觉查询，以及图像描述生成（IC），用于从图像中生成这些风险的文本描述。此外，本研究提出了一个用于训练和测试此类方法的 dataset。系统测试表明，VQA 功能实现了 96.5% 的准确率。此外，使用九个 IC 指标和来自人类专家的评估表明，所提出的方法优于仅在通用 dataset 上训练的相同架构方法。本研究为未来在生成式人工智能（AI）技术下开发交互式 ERA 的未来方向设定了新的基调。
引用
@article{arxiv.2412.19954,
title = {ErgoChat: a Visual Query System for the Ergonomic Risk Assessment of Construction Workers},
author = {Chao Fan and Qipei Mei and Xiaonan Wang and Xinming Li},
journal= {arXiv preprint arXiv:2412.19954},
year = {2024}
}
备注
32 pages, 8 figures