EgoOops：面向程序文本的从 egocentric 视频中检测错误动作的数据集
计算机视觉与模式识别
2025-08-01 v3 人工智能
计算与语言
摘要
错误动作检测对于开发能够检测工人错误并提供反馈的智能档案系统至关重要。现有研究侧重于视觉上显著的错误，针对自由形式活动，导致仅依赖视频的错误检测方法。然而，在遵循文本的活动中，模型无法在不参考文本的情况下确定某些动作的正确性。此外，当前的错误数据集很少使用程序文本进行视频录制，除非是烹饪场景。为填补这一空白，本文提出了 EgoOops 数据集，记录了在遵循程序文本的不同领域中出现的错误活动的 egocentric 视频。该数据集包含三类注释：视频-文本对齐、错误标签以及错误描述。我们还提出了一种错误检测方法，结合视频-文本对齐和错误标签分类以充分利用文本。我们的实验结果表明，纳入程序文本对于错误检测至关重要。数据可通过 https://y-haneji.github.io/EgoOops-project-page/ 获得。
引用
@article{arxiv.2410.05343,
title = {EgoOops: A Dataset for Mistake Action Detection from Egocentric Videos referring to Procedural Texts},
author = {Yuto Haneji and Taichi Nishimura and Hirotaka Kameko and Keisuke Shirai and Tomoya Yoshida and Keiya Kajimura and Koki Yamamoto and Taiyu Cui and Tomohiro Nishimoto and Shinsuke Mori},
journal= {arXiv preprint arXiv:2410.05343},
year = {2025}
}
备注
Main 8 pages, supplementary 6 pages