检测视频中动作的起始帧
计算机视觉与模式识别
2020-01-22 v2 机器学习
摘要
本工作中，我们解决精确定位动作关键帧的问题，例如投手释放棒球的精确时刻，或人群开始鼓掌的精确时刻。关键帧定位是一个被大幅忽视且重要的动作识别问题，例如在神经科学领域，我们欲理解产生一段动作起始的神经活动。为此，我们引入一种新颖的结构化损失函数，恰当地权衡此类应用中重要的错误类型：相比微小错位，它对额外的与遗漏的动作起始检测施加更重惩罚。我们的结构化损失基于预测与标注动作起始间的最佳匹配。我们训练循环神经网络（RNN）以最小化该损失的可微近似。为评估这些方法，我们引入Mouse Reach Dataset，一个大型、标注的视频数据集，包含小鼠执行一系列动作。该数据集由专家为神经科学研究收集与标注。在此数据集上，我们证明我们的方法优于使用非结构化损失的相关方法与基线方法。
引用
@article{arxiv.1906.03340,
title = {Detecting the Starting Frame of Actions in Video},
author = {Iljung S. Kwak and Jian-Zhong Guo and Adam Hantman and David Kriegman and Kristin Branson},
journal= {arXiv preprint arXiv:1906.03340},
year = {2020}
}