利用自监督训练进行非故意动作识别
计算机视觉与模式识别
2022-09-27 v1
摘要
非故意动作是罕见事件，难以精确界定，且高度依赖于动作的时间上下文。在本工作中，我们探究此类动作，并试图识别视频中动作从故意转变为非故意的时点。我们提出了一种多阶段框架，利用运动速度、运动方向和顺序等固有偏置来识别非故意动作。为了通过自监督训练增强非故意动作识别任务的表征，我们提出了称为非故意动作固有偏置的时间变换（Temporal Transformations of Inherent Biases of Unintentional Actions, T2IBUA）的时间变换。该多阶段方法在单帧和完整片段两个层面上对时间信息进行建模。这些增强的表征在非故意动作识别任务上展现出强劲性能。我们对框架进行了广泛的消融研究，并报告了显著优于当前最优（SOTA）的结果。
引用
@article{arxiv.2209.11870,
title = {Leveraging Self-Supervised Training for Unintentional Action Recognition},
author = {Enea Duka and Anna Kukleva and Bernt Schiele},
journal= {arXiv preprint arXiv:2209.11870},
year = {2022}
}
备注
Accepted at ECCVW2022