面向 HoloAssist 挑战的异构错误检测技术报告
计算机视觉与模式识别
2025-06-09 v1
摘要
本报告解决了在工业自动化和教育等领域中至关重要的在线错误检测问题，实时视频分析使人类操作员能够在错误发生时及时纠正。虽然先前的工作仅关注涉及动作顺序的程序错误，但为实现实际应用需要处理更广泛的错误类型。我们引入了一个在线错误检测框架，能够处理程序错误和执行错误（例如电机滑动或工具滥用）。检测到错误后，我们使用大语言模型（LLM）生成解释性反馈。在 HoloAssist 数据集上的实验确认了我们方法的有效性，其中我们的方案在错误检测任务中名列第 2。
关键词
引用
@article{arxiv.2506.06174,
title = {Technical Report for Egocentric Mistake Detection for the HoloAssist Challenge},
author = {Constantin Patsch and Marsil Zakour and Yuankai Wu and Eckehard Steinbach},
journal= {arXiv preprint arXiv:2506.06174},
year = {2025}
}