利用 2D-CNN 幻觉化时空表征
计算机视觉与模式识别
2020-10-22 v3
摘要
使用 3D 卷积神经网络（CNN）学习的时空表征目前用于动作相关任务的最先进方法中。然而，与更简单的 2D-CNN 架构相比，3D-CNN 以占用大量内存和计算资源而著称。我们提出用一个 2D-CNN 学生网络从 3D-CNN 教师网络幻觉化时空表征。通过要求 2D-CNN 预测未来并直觉即将发生的活动，鼓励其获得对动作及其演变的更深理解。该幻觉任务被视为辅助任务，可与多任务学习设置中任何其它动作相关任务一起使用。详尽的实验评估表明，幻觉任务确实有助于提升在动作识别、动作质量评估和动态场景识别任务上的性能。从实际角度看，能够在不使用实际 3D-CNN 的情况下幻觉化时空表征，可使其在资源受限场景（如计算能力有限和/或带宽较低）中部署。代码库可在此获取：https://github.com/ParitoshParmar/HalluciNet。
引用
@article{arxiv.1912.04430,
title = {HalluciNet-ing Spatiotemporal Representations Using a 2D-CNN},
author = {Paritosh Parmar and Brendan Morris},
journal= {arXiv preprint arXiv:1912.04430},
year = {2020}
}
备注
Codebase: https://github.com/ParitoshParmar/HalluciNet