面向视频中高效姿态估计的动态核蒸馏
计算机视觉与模式识别
2019-08-27 v1
摘要
现有基于视频的人体姿态估计方法将大型网络广泛应用于视频的每一帧以定位身体关节,计算成本高且难以满足实际应用中的低延迟要求。为解决此问题,我们提出一种新颖的动态核蒸馏(DKD)模型,以促使小网络用于视频中的人体姿态估计,从而显著提升效率。具体而言,DKD引入轻量级蒸馏器,以一次性前馈方式利用来自前一帧的时间线索在线蒸馏姿态核。随后,DKD将身体关节定位简化为姿态核与当前帧之间的匹配过程,可通过简单卷积高效计算。以此方式,DKD快速将姿态知识从一帧传递,为下一帧的身体关节定位提供紧凑指导,使得在基于视频的姿态估计中能够使用小网络。为促进训练过程,DKD采用时间对抗训练策略,引入时间判别器以帮助在长范围内生成时间一致的姿态核与姿态估计结果。在Penn Action和Sub-JHMDB基准上的实验证明了DKD的优越效率,具体而言,相较先前最佳模型浮点运算量降低10倍、速度提升2倍,且具备最先进的精度。
引用
@article{arxiv.1908.09216,
title = {Dynamic Kernel Distillation for Efficient Pose Estimation in Videos},
author = {Xuecheng Nie and Yuncheng Li and Linjie Luo and Ning Zhang and Jiashi Feng},
journal= {arXiv preprint arXiv:1908.09216},
year = {2019}
}
备注
To appear in ICCV 2019