面向人类动作预测的知识蒸馏方法
计算机视觉与模式识别
2021-10-05 v2
摘要
我们考虑训练一个神经网络以在视频中预测人类动作的任务。鉴于视频数据的复杂性、未来的随机性以及带标注训练数据的有限性，该任务具有挑战性。在本文中，我们提出了一种新颖的知识蒸馏框架，该框架利用动作识别网络来监督动作预测网络的训练，引导后者关注正确预测未来动作所需的相关信息。这一框架得以实现，得益于一种新颖的损失函数，用于解释动态视频中语义概念的位置偏移。该知识蒸馏框架是一种自监督学习形式，并利用无标注数据。在 JHMDB 和 EPIC-KITCHENS 数据集上的实验结果表明了我们方法的有效性。
引用
@article{arxiv.1904.04868,
title = {Knowledge Distillation for Human Action Anticipation},
author = {Vinh Tran and Yang Wang and Minh Hoai},
journal= {arXiv preprint arXiv:1904.04868},
year = {2021}
}
备注
5 pages, 3 figures