DeFeeNet：基于偏差反馈的连续三维人体运动预测
计算机视觉与模式识别
2023-04-17 v2
摘要
让我们重新思考需要人体运动预测技术的真实场景，例如人机协作。当前工作将预测人体运动的任务简化为基于历史观测序列一次性预测较短未来序列（通常不超过 1 秒）的过程。然而，这种简化可能不能满足实际需求，因为它忽略了以下事实：实际应用中的运动预测并非孤立的“观测然后预测”单元，而是由沿整个序列半重叠的许多轮此类单元组成的连续过程。随着时间推移，上一轮预测部分在新一轮中已有对应的真实值可观测，但二者之间的偏差既未被利用，也无法被现有孤立学习范式所捕获。本文中，我们提出 DeFeeNet，一个简单而有效的网络，可加在现有一次性预测模型上，以在连续运动预测任务中实现偏差感知与反馈。在每轮预测中，上一单元产生的偏差首先由我们的 DeFeeNet 编码，然后融入现有预测器以启用偏差感知预测方式，这首次实现了相邻预测单元间的信息传递。我们设计了基于 MLP 和基于 GRU 的两种 DeFeeNet 版本。在 Human3.6M 和更复杂的 BABEL 上，实验结果表明无论基础模型如何，我们所提网络均能提升连续人体运动预测性能。
引用
@article{arxiv.2304.04496,
title = {DeFeeNet: Consecutive 3D Human Motion Prediction with Deviation Feedback},
author = {Xiaoning Sun and Huaijiang Sun and Bin Li and Dong Wei and Weiqing Li and Jianfeng Lu},
journal= {arXiv preprint arXiv:2304.04496},
year = {2023}
}
备注
accepted by CVPR2023