一种用于多任务人体活动建模的概率半监督方法
计算机视觉与模式识别
2019-03-15 v3
摘要
人类行为是一个由语义动作与可供性以及潜在因素所支配的连续随机时空过程。因此，基于视频的人体活动建模涉及若干任务，例如推断当前与未来的语义标签、预测未来的连续观测以及想象可能的未来标签与特征序列。本文提出一种半监督概率深度潜变量模型，该模型能够表示离散标签与连续观测以及随时间演化的潜在动态。这使得模型无需显式微调即可同时解决多个任务。我们在此聚焦于基于 Kinect 记录的 3D 人体活动数据的动作分类、检测、预测与预期以及运动预测与合成等任务。我们进一步扩展该模型以捕捉层次化标签结构并建模多个实体（如人与物体）之间的依赖关系。我们的实验表明，这种原则性的人体活动建模方法可用于检测当前与预期未来语义标签，并预测与合成未来标签与特征序列。当将我们的模型与专为例如动作分类设计的 SOTA 方法比较时，我们发现我们的概率公式优于或可与这些特定任务模型相媲美。
引用
@article{arxiv.1809.08875,
title = {A Probabilistic Semi-Supervised Approach to Multi-Task Human Activity Modeling},
author = {Judith Bütepage and Hedvig Kjellström and Danica Kragic},
journal= {arXiv preprint arXiv:1809.08875},
year = {2019}
}