弥合人体动作识别与在线动作检测之间的鸿沟
计算机视觉与模式识别
2021-01-25 v1 人工智能
摘要
动作识别、早期预测与在线动作检测是常独立研究的互补学科。多数在线动作检测网络使用预训练特征提取器，其对其新任务可能并非最优。我们以教师-学生框架及一种新颖训练策略来处理上述学科间的任务特定特征提取。我们的网络，在线知识蒸馏动作检测网络（OKDAD），并行嵌入了在线早期预测与在线时间片段提议子网络。在教师训练期间鼓励低类间高类内相似性。通过层复用及教师-学生特征向量间余弦相似性确保向 OKDAD 网络的知识蒸馏。层复用与相似性学习显著改善了使用通用特征提取器的基线。我们在来自两个流行数据集的红外视频上评估框架：NTU RGB+D（动作识别、早期预测）与 PKU MMD（动作检测）。不同于先前在这些数据集上的尝试，我们的学生网络在任何未来信息未知下运行。即便有此增加的困难，我们在两个数据集上均取得最先进结果。此外，我们的网络使用来自 RGB-D 相机的红外，据我们所知，我们首次将其用于在线动作检测。
引用
@article{arxiv.2101.08851,
title = {Bridging the gap between Human Action Recognition and Online Action Detection},
author = {Alban Main de Boissiere and Rita Noumeir},
journal= {arXiv preprint arXiv:2101.08851},
year = {2021}
}
备注
11 pages, 6 figures