你在挣扎吗？装配视频中挣扎判定的数据集与基线

判定人们何时处于挣扎状态，能够提供对动作更细粒度的理解，从而补充传统的动作分类和错误检测。本文所定义的挣扎检测是一项独特且重要的任务，无需显式的步骤或活动知识即可识别。我们引入了首个挣扎数据集，包含三个现实世界的问题解决活动，并由专家和众包标注者共同标注。视频片段根据其挣扎程度使用强制选择的4点量表进行评分。该数据集包含来自73名参与者的5.1小时视频。我们进行了一系列实验，以确定最适合挣扎判定的建模方法。此外，我们比较了各种深度学习模型，为挣扎分类、挣扎回归和挣扎标签分布学习建立了基线结果。我们的结果表明，视频中的挣扎检测在二分类中可达到高达 $88.24\%$ 的准确率，而在四分类设置中检测挣扎水平的性能较低，总体准确率为 $52.45\%$。我们的工作旨在更全面地理解视频中的动作，并有望改进分析挣扎并能在手动活动中更好支持用户的辅助系统。