用于二维人体姿态估计的令牌剪枝姿态Transformer蒸馏

近年来，人体姿态估计中广泛使用 transformer 模型。姿态 transformer 受益于自注意力图，其捕捉了人体关节令牌与图像之间的相关性。然而，训练此类模型计算开销巨大。近期的令牌剪枝姿态 Transformer（Token-Pruned Pose Transformer, PPT）通过剪枝图像中通常信息量较少的背景令牌解决了该问题。然而，尽管提升了效率，由于令牌剪枝，PPT 不可避免地导致比 TokenPose 更差的性能。为克服该问题，我们提出了一种称为用于人体姿态估计的剪枝令牌 Transformer 蒸馏（Distilling Pruned-Token Transformer, DPPT）的新方法。我们的方法利用预训练 TokenPose 的输出监督 PPT 的学习过程。我们还建立了姿态 transformer 与 PPT 内部结构（如注意力图和关节特征）之间的联系。我们在 MPII 数据集上的实验结果表明，与先前 PPT 模型相比，我们的 DPPT 在显著降低计算复杂度的同时，可大幅提升 PCK。