MistExit:用于程序视频早期错误检测的学习方法
计算机视觉与模式识别
2026-03-17 v1
摘要
我们提出视频早期错误检测任务,即在观察尽可能少的流式视频时,确定程序化活动中的关键步骤是否正确执行。为解决此问题,我们提出一种方法 comprising 一个错误检测器和强化学习策略。在每个时间步,检测器处理最近观察到的帧,以估计关键步骤的正确性,同时预判未来视觉特征,从而实现可靠的早期错误估计。与此同时,策略综合检测器输出和视觉观察,并自适应决定何时退出(即停止处理新到达的帧),同时生成最终预测。使用多样化的真实世界程序视频数据集,我们展示了MistExit模型在提高错误检测准确性的同时,显著降低了观察视频的比例,优于现有方法。项目:https://vision.cs.utexas.edu/projects/mist_exit。
引用
@article{arxiv.2603.14252,
title = {MistExit: Learning to Exit for Early Mistake Detection in Procedural Videos},
author = {Sagnik Majumder and Anish Nethi and Ziad Al-Halah and Kristen Grauman},
journal= {arXiv preprint arXiv:2603.14252},
year = {2026}
}