用于程序任务错误检测的多正规动作表示建模
计算机视觉与模式识别
2025-04-03 v2
摘要
程序活动中的错误检测对于 AR 辅助和机器人系统的一致性和正确性至关重要。现有方法常关注时间顺序错误或依赖静态原型表示正常动作。然而，这些方法通常忽略了在给定已执行动作序列后，多个不同动作都是有效的常见情景。这导致两个问题：（1）当推断环境或动作执行分布不同于训练时，模型无法使用静态原型有效检测错误；（2）模型也可能使用错误的原型检测错误，如果正在进行的动作标签与预测的标签不同。为解决此问题，我们提出一种自适应多正规动作表示框架（Adaptive Multiple Normal Action Representation, AMNAR）。AMNAR 预测所有有效的后续动作并重构其对应的正常动作表示，这些表示被与正在进行的动作进行比较，以检测错误。广泛的实验表明，AMNAR 实现了最先进的性能，凸显了 AMNAR 的有效性以及在错误检测中建模多个有效后续动作的重要性。代码已公开：https://github.com/iSEE-Laboratory/AMNAR。
引用
@article{arxiv.2503.22405,
title = {Modeling Multiple Normal Action Representations for Error Detection in Procedural Tasks},
author = {Wei-Jin Huang and Yuan-Ming Li and Zhi-Wei Xia and Yu-Ming Tang and Kun-Yu Lin and Jian-Fang Hu and Wei-Shi Zheng},
journal= {arXiv preprint arXiv:2503.22405},
year = {2025}
}