基于混合密度网络从单张图像预测多样化人体运动
计算机视觉与模式识别
2022-07-25 v2
摘要
人体运动预测在计算机视觉中起着关键作用，通常 requires 以过去的运动序列作为输入。然而，在实际应用中，完整且正确的过去运动序列可能过于昂贵而难以获取。在本文中，我们提出了一种新颖的方法，从弱得多的条件（即单张图像）出发，利用混合密度网络（MDN）建模来预测未来人体运动。与大多数现有的深度人体运动预测方法相反，MDN 的多模态特性能够生成多样化的未来运动假设，这很好地补偿了由单一输入和人体运动不确定性所聚集的强随机模糊性。在设计损失函数时，我们进一步引入基于能量的公式，以灵活地对 MDN 的可学习参数施加先验损失，从而在保持运动连贯性的同时通过定制能量函数提高预测精度。我们训练好的模型直接将图像作为输入，并生成多个满足给定条件的合理运动。在两个标准基准数据集上的大量实验证明了我们的方法在预测多样性和准确性方面的有效性。
引用
@article{arxiv.2109.05776,
title = {Learning to Predict Diverse Human Motions from a Single Image via Mixture Density Networks},
author = {Chunzhi Gu and Yan Zhao and Chao Zhang},
journal= {arXiv preprint arXiv:2109.05776},
year = {2022}
}