基于视觉语言模型的双视频帧相似度分组异常帧检测以提取专家工人的独特动作

铁路和发电厂等关键基础设施的维护对于运营安全和可靠性至关重要。然而，熟练维护工人数量的下降对这些运营的持续性构成了严峻挑战，凸显了将专家技能有效传授给经验较少的工人的必要性。尽管传统的基于访谈的方法已被用于获取维护技能，但它们难以捕捉专家自身可能未意识到的隐性知识。为弥补这一差距，我们提出了一种方法，通过将基于手册的工作视频与专家维护工人的视频进行比较，来检测包含隐性知识的候选动作的异常帧。在涉及配电盘的模拟维护实验中，我们的方法针对手册中未描述的11种动作类型，实现了66.9%的提取率，比传统技术提高了50个百分点。这些发现强调了我们的方法在揭示隐性维护知识方面的有效性，从而有助于增强关键基础设施维护中的技能转移和劳动力发展。