被忽视的姿态实则合理：为人体运动预测蒸馏特权知识
计算机视觉与模式识别
2022-08-03 v1
摘要
以往的人体运动预测工作遵循在已观测序列与待预测序列之间建立映射关系的模式。然而，由于多元时间序列数据固有的复杂性，寻找运动序列之间的外推关系仍具挑战。本文提出一种新的预测模式，引入先前被忽视的人体姿态，从插值视角实现预测任务。这些姿态存在于预测序列之后，构成特权序列。具体而言，我们首先提出一种插值学习网络（ITP-Network），该网络对观测序列与特权序列进行编码以插值出中间的预测序列，其中嵌入的特权序列编码器（Priv-Encoder）同时学习特权知识（PK）。随后，我们提出一种最终预测网络（FP-Network），其不可观测特权序列，但配备了一种新颖的 PK 模拟器，用于蒸馏先前网络学到的 PK。该模拟器以观测序列为输入，却逼近 Priv-Encoder 的行为，使 FP-Network 能够模仿插值过程。大量实验结果表明，我们的预测模式在基准数据集 H3.6M、CMU-Mocap 和 3DPW 的短期与长期预测上均达到了最先进的性能。
引用
@article{arxiv.2208.01302,
title = {Overlooked Poses Actually Make Sense: Distilling Privileged Knowledge for Human Motion Prediction},
author = {Xiaoning Sun and Qiongjie Cui and Huaijiang Sun and Bin Li and Weiqing Li and Jianfeng Lu},
journal= {arXiv preprint arXiv:2208.01302},
year = {2022}
}
备注
accepted by ECCV2022