中文

DLow:通过多样化潜流实现多样化人体运动预测

计算机视觉与模式识别 2020-07-23 v2 机器学习 图像与视频处理

摘要

深度生成模型常用于人体运动预测,因为它们能够建模多模态数据分布并刻画多样化的人类行为。尽管在设计和学习深度生成模型方面已投入诸多关注,但在模型训练完成后如何高效地从中产生多样化样本仍是一个未被充分探索的问题。为从预训练生成模型获取样本,现有大多数生成式人体运动预测方法抽取一组独立的高斯潜码并将其转换为运动样本。显然,这种随机采样策略无法保证产生多样化样本,原因有二:(1) 独立采样无法迫使样本多样化;(2) 采样仅基于似然,可能只产生对应数据分布主要模式的样本。为解决这些问题,我们提出一种新颖的采样方法——多样化潜流(DLow),以从预训练深度生成模型中产生一组多样化样本。与随机(独立)采样不同,所提出的 DLow 采样方法抽取单个随机变量,然后用一组可学习的映射函数将其映射为一组相关的潜码。这些相关潜码随后被解码为一组相关样本。在训练期间,DLow 使用样本上的多样性促进先验作为目标来优化潜映射以提升样本多样性。该先验的设计高度灵活,可定制用于生成具有共同特征(例如相似腿部运动但多样化上半身运动)的多样化运动。我们的实验表明,DLow 在样本多样性和准确率方面优于最先进的基线方法。我们的代码已在项目页面发布:https://www.ye-yuan.com/dlow。

关键词

引用

@article{arxiv.2003.08386,
  title  = {DLow: Diversifying Latent Flows for Diverse Human Motion Prediction},
  author = {Ye Yuan and Kris Kitani},
  journal= {arXiv preprint arXiv:2003.08386},
  year   = {2020}
}

备注

ECCV 2020. Project Page: https://www.ye-yuan.com/dlow